Исследователи из Microsoft создали нейросеть, которая создает картинки по описанию
Команда ученых из Microsoft Research, Университета Олбани и JD AI Research опубликовала исследование, в котором описана работа нейросети, способной создавать образы на основе текстового описания. Об этом сообщает VentureBeat, пишут
Нейросеть типа Obj-GAN (Object-driven Attentive Generative Adversarial Newtork) способна создать картинку по точному описанию, начиная с ее наброска и заканчивая проработкой деталей.
«Масштабные эксперименты показывают, что ObjGAN способна эффективно генерировать сложные сцены, преобразовывая текст в изображение», — говорится в описании проекта.
Нейросеть моделировали так, чтобы она работала подобно художнику, прорабатывающему сложные сцены: от простого к сложным деталям. Система разделяет текст на отдельные слова и сопоставляет их с объектами, проверяя, во-первых, правильность такого сопоставления, и во-вторых, имеет ли оно смысл в контексте целого описания.
Результаты пока неидеальны: нейросеть может генерировать логически несвязные образы, вроде поезда, заброшенного на травянистом холме для описания «Пассажирский поезд катится по рельсам». Но в целом они впечатляют:
Нейросеть показала майбутнє: ядерний вибух у Москві та футуристичний Київ
Астрономы нашли черную дыру, которая растет быстрее всех других
Ученые создали «наномашины», способные убивать рак
Ученые создали «живую кожу» для роботов
Ученые создали отряд крыс-спасателей для помощи жертвам землетрясений
Астрономы обнаружили суперземлю, которая вращается вокруг близкой к Солнцу звезды
Новые варианты Омикрона вызовут новые волны заболеваемости COVID-19 - исследователи
В Новой Зеландии нашли «Библию грешников», которая поощряет прелюбодеяние
Ученые из Массачусетского технологического института (MIT) создали акустическую систему, равную по толщине листу бумаги
Ученые создали робота-крысу, который может искать людей под завалами
