Проект посвящён исследованию памяти детства через призму генеративных технологий. В качестве исходного материала использовались мои детские фотографии. Цель проекта — не реконструкция реальных воспоминаний, а их художественная интерпретация: попытка показать детство как портретное состояние, а не как набор конкретных событий.
Примеры исходных фотографий
Примеры исходных фотографий
Визуальным ориентиром проекта стал художественный язык модернизма начала XX века, а именно стилистические принципы, ассоциируемые с живописью Амедео Модильяни: простые портреты, вытянутые пропорции, упрощённая анатомия, сдержанная палитра, эмоциональная дистанция.
Финальные генерации
Через первые генерации я пыталась понять, как нейросеть проанализировала мои исходные фотографии и какие черты выделила.
Все же в финале мне бы хотелось видеть больше реализма и далее указала это в промпте.
В итоговых генерациях, на мой взгляд, довольно ярко выражены глаза, которые и являются одной из основных узнаваемых черт художника. Нейросеть смогла гармонично совместить мои глаза с детских фотографий и стиль Модильяни.
В исходных фотографиях также присутствовали мои родственники: старший брат и папа. Нейросеть считала наши общие черты лица и выдала иные генерации.
Далее я попросила нейросеть выделить основные цвета из работ Модильяни и добавить их в последующие генерации.
Глядя на результат, которые я получала после каждого этапа, мне захотелось поэкспериментировать и задать более художественные промпты.
На этих генерациях можно заметить, как нейросеть постепенно добавляет все больше узнаваемых элементов художника: широко посаженные и асимметричные глаза, вытянутая шея и выраженные мазки.
Примеры промптов
Я попробовала работать с двумя видами промптов: короткие и детально расписанные. Далее выделила для себя наиболее удобный и понравившийся вариант. В одной ячейке я прописывала от 25-30 промптов, финальные генерации экспортировала в папку, где уже и отбирала наиболее удачные. Это позволило комфортно организовать время генераций и структурировать все их разнообразие.
Процесс обучения
Первым делом я установила и подключила нужные библиотеки, чтобы подготовить окружение для обучения и генерации изображений.
Далее подготовила данные. Собрала датасет из 15 моих детских фото и загрузила их в отдельную папку проекта; в одной директории, чтобы обучение видело все изображения.
Взяла Stable Diffusion XL как основу и обучала не всю модель целиком, а через DreamBooth LoRA. Это позволило прикрепить к SDXL моего персонажа на небольшом датасете.
Фиксация персонажа через узнаваемый триггер. Задала уникальный идентификатор персонажа modikidv1, чтобы потом вызывать именно «моего ребёнка» в промптах.
Запустила обучение на разрешении 512 на 500 шагов. В процессе модель скачала веса SDXL и VAE, а затем обучилась и сохранила результат в папку modigliani_kid_LoRA.
После обучения подключила LoRA к SDXL и сгенерировала серию изображений по спискам из 25-30 промптов. В каждом промпте я прописывала уникальные признаки стиля Модильяни: длинная шея, миндалевидные глаза, плюс меняла позы, эмоции, фоны и атмосферу, чтобы серия была разнообразной.
Все сгенерированные изображения сохранила в отдельную папку outputs_modigliani, затем собрала её в архив.
Заключение
В итоге все получилось именно так, как я себе и представляла. Обученная LoRA-модель позволила сохранить образ и черты людей с фотографий, и представить их в художественной интерпретации, вдохновлённой модернистской живописью. Для меня было важно, чтобы нейросеть не копировала картины Модильяни, а работала именно как визуальный язык.
Список использованных инструментов:
- Stable Diffusion — обучение генеративной нейросети под свой стиль;
- ChatGPT — для улучшения и гармонизации промптов.
- Hugging Face — получение уникального токена для обучения нейросети, загрузка полученной модели в Google Colab.
