Специалисты из компании Microsoft создали новую нейросеть, которая способна рисовать изображения, основываясь на их кратком текстовом описании.
Сотрудники исследовательского отделения Microsoft под руководством Сяодуна Хэ разработали новый вид порождающей состязательной нейросети. Ее назвали внимательной нейросетью (attentional GAN, AttGAN). Созданный специалистами алгоритм в отличие от других, существовавших ранее, обращает внимание на детали. Он оценивает каждое слово в текстовом описании изображения и затем создает рисунок на их основе, сообщает arXiv.
Разработанная нейросеть на основе описаний создает довольно реалистичные изображения. Отмечается, что при обучении на базах данных СОСО и CUB по своей работе новая нейросеть в точности превосходит существующие алгоритмы на 170,25% и 14,14% соответственно.
Фото: He et al. / arXiv 2017