Концепция проекта
Идея: Период работы над проектом выпал на Масленицу. Это яркий праздник славянских народов, посвященный окончанию зимы и приветствию весны. Масленица сопровождается выпечкой блинов, сжиганием чучела, колядками, народными гуляниями и другими древними традициями.
Цель проекта: Создание живописных работ в едином стиле на основе моего раннего проекта при помощи генеративных сетей. Для обучения модели я использовала работы, сделанные тушью.
Подробнее о проекте: https://hsedesign.ru/project/935e13cccec6493199ce3f2bfa46b3b7

Кочкина Екатерина «Поход в океанариум» 2023 г.
Серия работ

prompt: Maslenitsa celebration winter in Kochkina style. Color palette is blue, white, black.
prompt: People gathering in a snowy russian village, eating piles of pancakes (blini), children making a snowman in Kochkina style. Color palette is blue, white, black.
1. People dancing near scarecrow on Maslenitsa 2. draw a samovar with small pretzels (sushki) on Maslenitsa, snow is falling on the window (in Kochkina style. Color p-e is blue, white, black)
prompt: Children ride down snowy hills and on sleds on Maslenitsa in a russian village in Kochkina style. Color palette is blue, white, black.
prompt: Maslenitsa festival in village in Kochkina style. Color palette is blue, black and white.
prompt: People eating pancakes on Maslenitsa in Kochkina style. Color palette is blue, black and white.
People dancing on Maslenitsa in funny bear, sun, goat masks in Kochkina style. Color palette is blue, black and white.
Выводы
В результате у меня получилась серия работ черной тушью с акцентным добавлением голубого на тему «Масленица». Главной задачей было передать стиль исходного проекта и сохранить целостность живописной манеры текущего проекта. Я решила жестко ограничить цветовую палитру, так как генеративная модель в некоторых случаях добавляла акцентные цвета не голубого цвета, что нарушало общее восприятие. При генерации изображений я использовала prompt «Color palette is blue, black and white». Меня удивил результат своей точностью и живописностью. Мазки отлично передают чувство незавершенности, как и в исходном проекте. Это можно заметить на примере проработки деталей, где в одних случаях краска четко повторяет форму объекта, а в других — расплывается в намеке. Стоит отметить, что пластика мазков достаточно разнообразная: от широких заливок до графичных линий. Нейросеть даже учла технику «набрызг» — метод нанесения краски путем разбрызгивания капель на бумагу с использованием кисти (щетки) для передачи эффекта. Сюжеты Масленицы переданы правдоподобно с характерными элементами славянского быта: деревянные срубы, церковь, деревянные сани, одежда и т. д. Композиции получились динамичными и живыми, что передает праздничное и веселое настроение. Изображения отличаются по степени насыщенности во многом благодаря заполнению белого. Например, работа, где женщины наслаждаются блинами за круглым столом, получилась воздушной и этюдной за счет преобладания белого. Некоторые из работ имеют более плотную композицию, уходящую в серый оттенок. Обучив модель, у меня получилось сохранить связь с ранней работой и применить свой стиль для передачи праздничной и зимней атмосферы Масленицы.
Техническая реализация
- Подключаю GPU для лучшей мощности. Получаем подтверждение работы видеокарты.
- Устанавливаю библиотеку bitsandbytes для обучения Stable Diffusion XL.
- Устанавливаю последнюю версию библиотеки diffusers с GitHub.
- Загружаю скрипт train_dreambooth_lora с GitHub для обучения модели.
- Загружаю свои 17 файлов.
- Проверяю наличие картинок.
- Для поиска подходящих подписей к изображениям устанавливаю Blip.
- Функция def caption images отвечает за генерацию нужных мне подписей.
- Создаем запрос для генерации промпта «in Kochkina style». При помощи Json создала файл с подписями.
- Удаляем Blip, так как для Stable Diffusion нужно много памяти.
- Используем скрипт accelerate для обучения модели, который позволяет пользоваться моделью на HuggingFace.
- Создаю аккаунт на Hugging Face для получения токена. Называю токен, даю разрешение. Ввожу ключ от токена в Colab.
- Загружаю нужные библиотеки. Запускаю процесс обучения.
- Указываю свою директорию. Добавляю код для сохранения модели в huggingface_Hub.
- Сохраняю файлы, обученные моей моделью, на сайте Hugging Face.
- Загружаю исходную модель Stable Diffusion XL. Присоединяю к модели lora_weights и указываю repo_id.
- Создаю промпт с префиксом «in Kochkina style». Для большей цельности ограничиваю цветовую палитру: «Color palette is blue, black and white.»
Использованные нейросети: Stable Diffusion XL https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0 Blip https://huggingface.co/Salesforce/blip-image-captioning-base Dreambooth https://huggingface.co/papers/2208.12242 LoRA https://huggingface.co/papers/2106.09685














