Примеры исходных изображений
О проекте
Один из первых студенческих проектов в моём портфолио — «Моя собака», посвящённый 10‑летнему юбилею Чюни. Моя задача в рамках арт‑практики состояла в том, чтобы проиллюстрировать историю о ней. Я выполнил работы в технике коллажа, а также в карандашной и фломастерной графике. Позже мне стало интересно с помощью промпта воссоздать, как бы выглядела моя собака в реальности — исходя из созданных мной работ.
ИЗОБРАЖЕНИЯ Готовая ИИ-фотография и Иллюстрация как идея для промпта
Чуня в ванной
Фрагмент из Промпта «Чуня в ванной»
prompt = «A bathroom scene divided exactly in half from top to bottom. On the left side: a shower curtain and tiled wall. On the right side: a wet dog CHUNA sitting in a white bathtub, holding onto the edges with its front paws, while its hind legs are in the water. A faucet is visible. The tiles and bathtub are white. "
Чуня и картошечка
Фрагмент из Промпта «Чуня и картошечка»
prompt = «A realistic photo of a dog named CHUNA. He is smiling slyly, there’s a bowl of potatoes in front of him. Green background.»
Чуня и конфетка
Фрагмент из Промпта «Чуня и конфетка»
prompt = «A dog CHUNA is sitting and looking up. Above the dog, a hand is holding a candy with two fingers. The background features green wallpaper.»
Голодная Чуня
Фрагмент из Промпта « Голодная Чуня»
prompt = «A realistic photo of an angry dog named CHUNA. The dog is growling aggressively, with red, menacing eyes. Its front paws are on the table, looking intently at its owner who is standing nearby, possibly refusing to give it food.»
Чуня спит
Фрагмент из Промпта «Чуня спит»
prompt = «A dog CHUNA is lying on a bed, covered with a blanket. Only the front paws and a cute sleeping head are peeking out from under the blanket. The blanket and sheet have a red‑and‑white checkered (chessboard) pattern.»
Чуня гуляет
Фрагмент из Промпта «Чуня гуляет»
prompt = «A realistic photo: in the center of the frame, a dog CHUNA in full‑body mid‑air jump is catching a falling bone. The shot is taken at a 45‑degree angle. The background features a summer landscape.»
Чуня и стиральная машина
Фрагмент из Промпта «Чуня и стиральная машина»
prompt = «A realistic photo: a dog CHUNA is sitting inside a turned‑off washing machine, positioned at the center of the frame. The dog’s head peeks out of the washing machine door. The dog looks calmly and cutely straight at the camera. The scene takes place in a bathroom.»
ПРИНЦИП РАБОТЫ КОДА
В основе дообучения и генерации изображений лежала модель Stable Diffusion. Для обучения сети я использовал датасет из 52 снимков Чуни, предварительно загрузив их в разрешении 512×512, после чего подключил этот набор данных к блокноту.
Следующим шагом стала проверка GPU, установка зависимостей и подключение датасета из подготовленных снимков Чуни. Также были сформированы описания к изображениям, которые позже используются для обучения ИИ.
Затем в ход идёт обучение модели с помощью LoRa.
После этого модель загружается на Hugging Face Hub, где становится доступной для применения и генерации новых изображений.
ПРОВЕРКА ГЕНЕРАЦИИ
Чтобы проверить работу промптов и генерацию изображений, я сначала самостоятельно написал первые промпты, не связанные с темой иллюстраций «Моя Собака"(в них не использовалась Алиса ИИ).
В итоге эксперимента я сгенерировал два изображения, которые точно передавали образ моей собаки, и таким образом я начал генерировать изображения по иллюстрациям.
prompt = «Dog CHUNA»
prompt = «photo collage dog is CHUNA in space»
ОПИСАНИЕ ПРИМЕНЕНИЯ ГЕНЕРАТИВНОЙ МОДЕЛИ
Для составления грамотного и детального промпта по мотивам иллюстрации «Моя Собака» под мои фотографии с Чуней я применил нейросеть Алису.
Кроме того, для подсказок и исправления ошибок в коде применялась нейросеть Gemini, встроенная в Google Colab
ИТОГ
С опорой на показанные иллюстрации «Моя Собака» я смог воспроизвести образ в фотографическом ключе. Тем не менее такие работы, как «Чуня гуляет» и «Чуня и конфетка», лишь фрагментарно соответствовали оригинальным картинкам. Отдельно стоит отметить, что ИИ весьма оригинально интерпретировал образ «Голодной Чуни»
