Программные продукты и системы

В последнее время наблюдается существенное развитие технологий генерации изображений, чему способствовало появление моделей для генерации изображений по текстовому запросу, основанных на диффузионных моделях.

Эта технология имеет множество применений, например, виртуальная примерка одежды, улучшение изображений для увеличения конверсии в рекламе и электронной коммерции, а также генерация изображений лиц с использованием референсной личности, востребованная в сфере развлечений и в социальных сетях.

Главная проблема в сфере персонализированной генерации – сохранение идентичности объекта с референсного изображения на генерациях. Это касается как товаров (бренд и мелкие атрибуты должны быть узнаваемы и максимально сохранены), так и лиц (иначе на генерации будет присутствовать другой человек). Более того, генерации должны быть достаточно модифицируемыми для того, чтобы генерировать объект в новых обличиях и в новом окружении, что значительно затруднено из-за присущего данной задаче переобучения. Хороший метод персонализации также должен иметь явный способ для изменения силы референсного изображения в случаях, когда требуется лучшая модифицируемость.

Подробное описание дается в статье «Обучение нейронной сети для персонализированной генерации изображений лиц с помощью Stable Diffusion», автор Лившиц Г.Б. (Пензенский государственный университет, Пенза)