Исследователи из МФТИ, ВШЭ и Института системного программирования РАН создали нейросетевые алгоритмы, которые помогают генераторам изображений точнее выбирать объекты на фото. Разработка упростит ИИ-дизайн для обычных пользователей.
Популярные генеративные нейросети при обработке изображений добавляют шумы — случайные помехи. При многократном повторении операции фото превращается в набор точек, а затем программа пошагово восстанавливает картинку, добавляя детали из текстового запроса. Проблема в том, что при малом количестве примеров модель запоминает не суть объекта, а случайные детали.
Разработчики приводят простой пример: если попросить нейросеть нарисовать кота в космосе, имея лишь одно его фото, она изобразит животное на том же диване, но с нарисованным космосом вокруг. Бороться с этим при минимуме данных крайне сложно. Новый метод решает эту задачу математическими средствами, пишут "Известия".
Учёные сместили интерес модели в пользу малых шумов. Они несут информацию о тонких деталях образа, а не о фоне. Это позволяет программе «запоминать» больше значимых характеристик объекта. При этом технология почти не задействует дополнительных вычислительных ресурсов.
По словам разработчиков, внедрение метода поможет выполнять продвинутый ИИ-дизайн более доступным простым пользователям. Теперь для качественной генерации не потребуются мощные компьютеры и сложные настройки. Достаточно одного фото, чтобы перенести объект в новую сцену. Это открывает возможности для малого бизнеса, блогеров и дизайнеров, которые смогут работать с изображениями без больших затрат.
Ранее ученые нашли скрытую причину гипертонии, которую пропускают анализы. Август стал рекордным по содержанию водяного пара в атмосфере Земли.