LES SAUVAGES — это серия фарфоровых статуэток в виде полевых цветов, предназначенная для хранения украшений. Задачей проекта было научить нейросеть генерировать референсы/прототипы для создания реальной фарфоровой модели! Посмотрим, насколько дико это будет выглядеть!
Вот так выглядит финальное фарфоровое изделие:
Чтобы не морочиться с реальным цветком, который нужно фоткать и крутить и наряжать, на его основе я сделала три де модельки, которые сфоткала с разных сторон и с разными украшениями и формой голов. Получился примерно следующий датасет:
фрагмент датасета
Как нейросеть генерировать училась
Нейросеть училась в Google Colab с использованием библиотеки diffusers.
Все три де картинки я свела к формату 512×512, чтобы они не сильно много весили и не грузили мой комп!
Загрузка всех необходимых ресурсов
В процессе обучения использовался специальный токен (он подписан в коде как TOK), который заставляет нейронку запомнить конкретный объект и затем воспроизводить его заново при генерации изображений. Это было нужно для более высокой точности получаемых картинок и снижения количества всяких рандомных артефактов.
Обучение модели
После того, как модель чему-то научилась, она подключалась через LoRA и использовалась мной для генерации новых картинок уже по текстовым запросам.
Загрузка модели и генерация картинок
Первые цветы получались уродами. Не удавалось заставить нейронку: а) сохранить плоскость формы и изначальный дизайн б) не добавлять жутких артефактов в виде дополнительных горшков и оторванных рук
После добавления токена и еще кучи попыток стало получше!
Галерея первых попыток. Слабонервным не смотреть!
Описание применения генеративной модели
Для увеличения разрешения итоговых картинок и их детализации использовалась нейросеть Topaz Gigapixel AI
Вот что получилось
product photo of TOK porcelain flower jewelry holder, minimalistic white flat ceramic design, clean smooth surface, with elegant jewelry, standing in a white pot, small bush of colorful flowers
В целом видно, что засчет три де у нейросети осталось мало пространства для фантазии. Для некоторых задач, думаю, это к лучшему. Мне обязательно нужно было сохранить две руки и горшочек.
high quality product photo of TOK white porcelain flower figure used as jewelry holder, flat minimalistic ceramic design, smooth clean surface, decorated with elegant jewelry, placed in a white pot
Больше всего ей удался прямой ракурс, тогда как ракурсы сбоку или сзади она постичь не смогла
TOK porcelain flower jewelry holder, product photography, minimalistic flat white ceramic figure, smooth surface, elegant jewelry attached, standing in a white pot, small colorful flower bush below
В финал вошли лучшие наиболее похожие на оригинал варианты. за редкими исключениями
product photography of TOK white flat ceramic porcelain flower figure with jewelry, minimalistic design, smooth clean surface, standing in a white pot, surrounded by small colorful flowers underneath
Вывод
В итоге получились довольно сумасшедшие цветочки! Вполне возможно, что некоторые из них можно было бы использовать как визуализацию в презентации или референс. Удалось убедить нейросеть генерировать как можно более похожие цветочки, чтобы не выходить за рамки стиля, но при этом создавать вариации с формой его головы, количеством украшений и местом их положения. Успех!
