Концепция
Для проекта я выбрала работы итальянского художника Vittorio Reggianini, известного своими камерными жанровыми сценами повседневной жизни в изысканных интерьерах. Его картины наполнены мягким тёплым светом, декоративными деталями и сложной фактурой тканей и предметов. Особое внимание художник уделяет атмосфере уюта и интимности пространства: персонажи часто погружены в спокойные бытовые занятия — чтение, разговор или отдых.
Цветовая палитра обычно тёплая и приглушённая: в ней преобладают золотистые, охристые, кремовые и винные оттенки, усиливающие ощущение домашнего тепла и спокойствия.
Примеры работ Витторио Реджанини
Меня заинтересовало, может ли генеративная модель воспроизвести не только визуальные признаки этого стиля, но и ощущение уютного, закрытого пространства и мягкого света, характерного для его живописи.
Исходные изображения
Для обучения модели был подготовлен датасет из 67 работ Vittorio Reggianini. В него вошли изображения, где хорошо видны характерные для художника интерьерные сцены с декоративными деталями, текстурами тканей и мягким тёплым освещением.
Перед обучением все изображения были приведены к единому квадратному формату 1024×1024 и аккуратно обрезаны, чтобы сохранить композицию и основные элементы сцены.
Часть собранного датасета
Обучение модели
В качестве среды для выполнения проекта я выбрала Kaggle.
Для работы с датасетом были сгенерированы кастомные подписи к изображениям с помощью модели BLIP. Она успешно справилась с определением объектов и сюжетов на картинах: «a woman and two men sitting in a kitchen», «a group of people playing music», «a woman in a pink dress standing in front of a curtain», «a woman in a white dress sitting at a desk with a dog».
Каждое изображение сопровождалось подписью со специальным префиксом: «An oil painting in the style of VITTORIO REGGIANINI with silk and satin».
import json
caption_prefix = "an oil painting in the style
of VITTORIO REGGIANINI with silk and satin, "
#@param
with open(f'{local_dir}metadata.jsonl', 'w') as
outfile:
for img in imgs_and_paths:
caption = caption_prefix \+
caption_images(img[1]).split("\n")[0]
entry = {"file_name": img[0].split("/")[-1],
"prompt": caption}
json.dump(entry, outfile)
outfile.write('\n')
После подготовки датасета я обучила Stable Diffusion с использованием методов DreamBooth и LoRA. Процесс занял около 6 часов и включал 1000 шагов обучения со следующими настройками:
--dataset_name="regg" \
--output_dir="vittorio_reggianini_LoRA" \
--instance_prompt="an oil painting in the style of VITTORIO REGGIANINI with silk and satin" \
--resolution=1024 \
--train_batch_size=1 \
--gradient_accumulation_steps=3 \
--max_train_steps=1000 \
--checkpointing_steps=500 \
Готовая модель была сохранена на Hugging Face для дальнейшего использования и генерации серии изображений.
from huggingface_hub import create_repo,
upload_folder
from train_dreambooth_lora_sdxl import
save_model_card
repo_id = create_repo(f"{username}/{output_dir}",
exist_ok=True).repo_id
...
save_model_card(
repo_id=repo_id,
images=[],
instance_prompt="an oil painting in the style
of VITTORIO REGGIANINI with silk and satin",
repo_folder=output_dir,
)
...
upload_folder(
repo_id=repo_id,
folder_path=output_dir,
commit_message="End of training"
)
Шаблон промпта
При генерации изображений количество шагов варьировалось от 25 до 45, что позволило уменьшить искажения лиц и деформации объектов. Для улучшения освещения и снижения количества артефактов также был добавлен негативный промпт.
prompt = "An oil painting in the style of VITTORIO
REGGIANINI, two elegant women by a window, silk
and satin gowns, tea set, ornate interior"
negative_prompt = "Deformed, blurry, bad anatomy,
disfigured face, low quality, grainy, green light,
lilac light"
image = pipe(
prompt=prompt,
num_inference_steps=25,
negative_prompt=negative_prompt
).images[0]
image.save("reggianini_output.png")
image
Итоговая серия изображений
В первых генерациях удалось зафиксировать ключевые элементы стиля художника: плавные складки шелка и сатина, роскошные интерьеры, атмосферу уюта и интимности.
При этом проявились и некоторые проблемы: лица часто оказывались искаженными, интерьеры выглядели менее детализированными, цвета становились ярче, а отдельные элементы местами сливались, создавая эффект лёгкой «мыльности».
Тем не менее стиль Reggianini остаётся узнаваемым благодаря вниманию к фактурам тканей, мягкому свету и декоративным деталям.
an elegant lady in a silk dress holding a fan, looking down at a cute dog begging for a treat… // a lady in a golden brocade dress standing next to a graceful greyhound dog facing the viewer…
young lady in a shimmering lilac silk gown holding a love letter… // woman in a voluminous white and silver silk ball gown… // an elegant couple in a luxury salon playing chess…
a lady in a voluminous white satin gown looking at her reflection in a large ornate floor mirror… // an elegant couple in a luxury salon playing chess…
Затем были протестированы длинные и детализированные промпты, позволяющие получить сложную композицию и приблизить изображения к оригинальным картинам. Развернутые описания сцен были сгенерированы с помощью ChatGPT.
В результате пространство стало выглядеть сложнее: в генерациях появились дополнительные декоративные элементы — вазы, картины, обои со сложными узорами, выразительные текстуры тканей и мягкий свет.
Однако проблема с лицами полностью не исчезла: они по-прежнему иногда получались размытыми или слегка искаженными.
a woman in an elegant high-waisted white empire-style satin dress sitting at an ornate gilded console table…
two elegant women sitting by a large open window with a scenic view…
elegant woman in a shimmering pale mint green empire-style satin gown standing before a large cheval mirror… // sunlit 19th-century salon, lady standing in a cream silk dress with a velvet bolero…
a flirtatious scene in a luxury 19th-century salon… // a man in a shimmering turquoise satin frock coat… // a woman in an elegant high-waisted white empire-style satin dress…
a young woman in a luminous pale gold empire-style satin gown leaning over a small ornate round table…
an elegant woman in a shimmering pale mint green empire-style satin gown standing before a large cheval mirror… // a woman in an elegant high-waisted white empire-style satin dress sitting…
a woman in an elegant high-waisted white empire-style satin dress… // a flirtatious scene in a luxury 19th-century salon… // a lady in a turquoise silk dress pouring tea from a silver pot…
a young woman in a luminous coral pink empire-style silk gown standing by a small marble table…
a beautiful young woman in a shimmering ivory and gold silk empire-style gown playing a large golden ornate harp…
Сравнение сгенерированных и оригинальных работ
Также мне стало интересно сгенерировать сцены, основанные на конкретных картинах художника. Для этого я загрузила оригинальные работы в AI на Goggle Search и попросила создать их текстовые описания, которые затем использовала как промпты для своей модели.
Эта задача оказалась для неё непростой: нейросеть часто увеличивала количество персонажей, неправильно интерпретировала их позы и взаимное расположение. Некоторые детали и элементы интерьера также терялись.
Тем не менее в большинстве случаев общий сюжет оставался узнаваемым.
Unconditional Lover by Vittorio Reggianini // a young woman in a luminous coral pink empire-style silk gown standing by a small marble table.
An Amusing Letter by Vittorio Reggianini // two elegant women sitting by a large open window with a scenic view, one woman in a shimmering silk dress holding a teacup…
The suitor Vittorio Reggianini // an opulent 19th-century salon with blue floral wallpaper, a gallant man in a shimmering mauve satin frock coat bowing and kissing the hand of a lady…
Welcome advances by Vittorio Reggianini // a flirtatious scene in a luxury 19th-century salon, turquoise damask wallpaper, a rug on the floor…
Заключение
В ходе работы мне было интересно проверить, насколько нейросеть сможет воспроизвести визуальный язык Vittorio Reggianini. Обученная LoRA-модель смогла уловить ряд характерных особенностей его живописи: внимание к текстурам тканей, декоративным деталям интерьера и мягкому освещению.
При этом генерации показали и ограничения модели: иногда возникали искажения лиц, упрощалась пространственная композиция, терялись отдельные детали.
Тем не менее в большинстве изображений сохраняется узнаваемая атмосфера и визуальные мотивы оригинальных работ.
Описание применения генеративной модели
Stable Diffusion XL Генерация изображений по текстовым описаниям. Использовалась как базовая модель для последующего дообучения под стиль Reggianini.
DreamBooth Персонализация модели под визуальный язык художника.
BLIP Автоматическая генерация описаний для изображений в датасете.
Hugging Face Хранение обученной LoRA-модели и доступ к ней для дальнейших генераций.
Chat GPT и AI на Google Search Помощь в формулировке промптов для серии изображений.
