Нейросеть научили дорисовывать фотографии

Нейросетевые алгоритмы успешно применяются для редактирования фотографий, но на сегодняшний день они, как правило, способны дорисовывать лишь небольшие фрагменты или, наоборот, удалять лишние объекты со снимков. Специалистам из Google Research удалось научить нейросеть весьма реалистично дорисовывать даже крупные области на кадре, расположенные сбоку, благодаря применению алгоритма на архитектуре генеративно-состязательной нейросети.

Обрабатывающая изображение нейронная сеть подразумевает, что алгоритм состоит из двух частей: одна из них выполняет свою непосредственную задачу — дорисовывает фотографию, а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки. Одна из ключевых особенностей алгоритма заключается в использовании двух фотографий: исходной, на которой прямоугольная область залита одним цветом, и второй, показывающей, какая именно область была залита.

Размер этой области в разных случаях составлял 25, 50 и 75% исходного кадра. Такой подход позволил дискриминатору сконцентрироваться на области, дорисованной генератором, и тем самым повысить качество распознавания изображений. Как результат, это существенно повысило качество работы генератора после обучения. В качестве обучающей выборки были использованы почти два миллиона изображений из базы Places365-Challenge.