С тех пор, как я впервые соприкоснулась с искусством, его историей и, в частности, живописью Северных Нидерландов, я моментально и навсегда влюбилась в голландский натюрморт XVII века.
Этот жанр покорил меня своим изображением светотени, изящностью стекла и тонкостью проработки. Именно поэтому для проекта я решила взять за основу работы «малых голландцев» и обучить модель создавать изображения с ключевыми деталями их стиля живописи.
Виллем Клас Хеда. Натюрморт с серебряным кувшином и пирогом. 1645 / Питер Клас. Натюрморт с солонкой. Ок. 1644 / Геррит Виллемс Хеда. Натюрморт с глиняным кувшином
Серия сгенерированных в данном проекте изображений исследует, как голландский натюрморт XVII века мог бы интерпретировать русские регионы, города и деревни. В каждом изображении отражены особенности местной культуры, продукты, природные и архитектурные элементы, а также характерное освещение и цветовая палитра региона — всё это через призму стилистики голландских мастеров.
датасет
исходные изображения из датасета
Для обучения модели я собрала датасет из 69 изображений картин таких художников как Питер Клас, Виллем Клас Хеда, Виллем Калф, Абрахам ван Бейерен, Балтасар ван дер Аст, Виллем ван Алст, Ян ван Хёйсум и др.
При отборе изображений для датасета я обращала внимание на наличие тех визуальных элементов, которые мне больше всего нравятся в голландском натюрморте: стекло, светотень, композиция и другое.
процесс обучения модели
В процессе обучения модели я работала в Google Colaboratory на GPU T4, используя fine-tuning Stable Diffusion XL, а также методы DreamBooth, BLIP и LoRA для дообучения.
Процесс обучения модели можно логически разделить на четыре этапа: — Настройка среды — Работа с датасетом — Генерация описаний изображений методом BLIP — Обучение модели
этап 1 — настройка среды обучения
На этом этапе происходит подготовка окружения и инструментов для дообучения модели SDXL с использованием техники LoRA. Сначала проверяется доступность графического процессора NVIDIA T4, который будет использоваться для вычислений. Затем устанавливаются необходимые библиотеки: bitsandbytes для оптимизации памяти, transformers и accelerate для работы с моделями, а также diffusers — основная библиотека для генерации изображений. После этого скачивается специальный скрипт train_dreambooth_lora_sdxl.py, который реализует процесс обучения: он позволяет адаптировать предобученную модель под новый объект или стиль, используя эффективный метод LoRA, что требует значительно меньше ресурсов, чем полное дообучение.
этап 2 — работа с датасетом
На этом этапе происходит загрузка и подготовка пользовательского датасета с изображениями формата 768×768 для обучения модели. Сначала создается локальная директория ./dutch/, куда будут сохраняться изображения. Затем с помощью интерфейса Google Colab активируется виджет для загрузки изображений с компьютера пользователя — эти файлы сохраняются в созданную папку. После загрузки определяется функция image_grid (), которая создает коллаж из изображений для визуальной проверки качества датасета: она изменяет размер всех картинок до заданного значения (по умолчанию 256 пикселей) и размещает их в виде сетки с указанным количеством строк и столбцов. В завершение загружаются все .jpg файлы из папки dutch, и первые 5 из них отображаются в виде превью. Этот шаг критически важен для контроля качества входных данных: пользователь может убедиться, что загружены правильные изображения нужного разрешения, и они корректно читаются перед началом обучения.
этап 3 — генерация описаний изображений методом BLIP
На этом этапе происходит автоматическая генерация текстовых описаний для загруженных изображений с использованием модели BLIP — Bootstrapping Language-Image Pre-training. Сначала загружается предобученная модель и процессор из библиотеки Hugging Face, которые переносятся на GPU для ускорения обработки. Затем определяется функция caption_images (), которая принимает изображение и возвращает сгенерированное текстовое описание.
После этого все изображения из папки dutch загружаются и для каждого из них генерируется описание с добавлением пользовательского префикса «photo collage in Dutch Still Life Of 17th Century style» — это позволяет задать единый стилистический контекст для всех примеров в датасете. Полученные пары «имя файла — промпт» сохраняются в формате JSONL (каждая строка — отдельный JSON-объект) в файл metadata.jsonl. Этот файл станет аннотацией датасета, необходимой для обучения модели: он связывает каждое изображение с текстовым описанием, которое модель будет учиться воспроизводить или использовать как условие для генерации.
В конце этапа выполняется вывод содержимого файла для проверки, после чего модель BLIP удаляется из памяти с помощью сборщика мусора и очистки кэша GPU — это важный шаг для освобождения ресурсов перед началом основного обучения.
этап 4 — обучение модели
На этом этапе выполняется запуск обучения LoRA-адаптации для модели SDXL с использованием подготовленного датасета. Сначала происходит авторизация в Hugging Face Hub и настройка конфигурации accelerate. Затем запускается скрипт train_dreambooth_lora_sdxl.py с заданными гиперпараметрами: разрешение 768×768, размер батча 2, mixed precision fp16, скорость обучения 1e-4. Обучение идет 1000 шагов с сохранением контрольных точек каждые 250 шагов. Модель обучается на изображениях в стиле голландского натюрморта XVII века, используя автоматически сгенерированные BLIP-капшены с добавленным стилистическим префиксом.
После завершения обучения веса LoRA сохраняются и публикуются на Hugging Face Hub. Создается репозиторий с именем пользователя и названием модели dutch_style_LoRA, формируется карточка модели с метаданными, а затем финальные .safetensors-файлы загружаются в репозиторий. Промежуточные чекпоинты игнорируются, чтобы сохранить только готовую модель. В результате пользователь получает публичную ссылку на обученную модель, которую можно использовать для генерации изображений в заданном стиле.
генерация изображений
первые неудачные генерации
промпты: — photo collage in Dutch Still Life Of 17th Century style, still life, Russian samovar, steering wheels — photo collage in Dutch Still Life Of 17th Century style, still life, Russian samovar, steering wheels — photo collage in Dutch Still Life Of 17th Century style, still life, Russian samovar, steering wheels
Первые три генерации оказались неудачными. Очень плохое качество изображений, странные предметы в натюрморте, странная тусклая цветовая гамма и отсутствие того самого голландского света.
После трёх неудачных попыток генерации и последующей «смены тактики» я пришла к выводу, что «photo collage» не подходит для генерации изображений в нужном мне стиле, а также более успешными получаются изображения с большим количеством уточнений в промпте.
Для быстрой генерации детализированных промптов я обратилась к ChatGPT
первые удачные генерации
промпты: — painting in Dutch Still Life Of 17th Century style, Russian village still life, traditional samovar, tea in glass cups with metal holders, bagels (baranki) on a string, rustic wooden table, warm natural light, cozy countryside atmosphere, vintage cloth, detailed textures, realistic, soft shadows, high detail — painting in Dutch Still Life Of 17th Century style, Russian village still life, traditional samovar, tea in glass cups with metal holders, bagels (baranki) on a string, rustic wooden table, warm natural light, cozy countryside atmosphere, vintage cloth, detailed textures, realistic, soft shadows, high detail, 35 mm photography — painting in Dutch Still Life Of 17th Century style, Russian village still life, traditional samovar, tea in glass cups with metal holders, bagels (baranki) on a string, rustic wooden table, warm natural light, cozy countryside atmosphere, vintage cloth, detailed textures, realistic, soft shadows, high detail
первые удачные генерации
промпты: — painting in Dutch Still Life Of 17th Century style, Soviet Russian still life, 1950s kitchen, metal samovar, glass tea cups with metal holders, black bread, simple tableware, newspaper, cold daylight, Dutch Still Life XVII century style, realistic, muted colors, soft shadows — painting in Dutch Still Life Of 17th Century style, Siberian village still life, rustic wooden samovar, tea in metal holders, black bread and forest berries, simple wooden table, cold daylight, Dutch Still Life XVII century style, realistic, cozy atmosphere — painting in Dutch Still Life Of 17th Century style, Saint Petersburg still life, silver samovar, tea in glass cups, pastries, antique books, marble windowsill, soft morning light, Dutch Still Life XVII century style, intricate textures, realistic shadows
Генерация изображений, которые вошли в серию, после исправления вышеупомянутых небольших первых ошибок прошла быстро и успешно. Всего для серии было сгенерировано 96 изображений — из них отбирались «те самые»
итоговая серия
В итоговой серии — 16 случайных городов/регионов России, каждый со своим колоритом, настроением и отличительными элементами.
А как голландцы XVII века увидели бы эти особенности необъятной России?
Москва
Москва — Купеческий Пир
Москва — Тлен и Изобилие / Москва — Золотой стол
промпты: — painting in Dutch Still Life Of 17th Century style, opulent Russian merchant feast with caviar, roasted meat, dark rye bread, silver goblets, Orthodox icon in background, deep red velvet drapery, gold and dark brown palette, dramatic chiaroscuro lighting, cinematic shadows, ultra detailed textures, 8k, rich baroque composition — painting in Dutch Still Life Of 17th Century style, symbolic vanitas composition with extinguished candle, caviar, broken glass, silverware, dark burgundy and gold palette, dramatic light beam, deep shadows, emotional atmosphere, ultra detailed — painting in Dutch Still Life Of 17th Century style, top view slightly angled, rich table with caviar serving dishes, bread, wine, silk cloth, red and gold palette, soft but contrast lighting, cinematic depth of field, high detail realism
Санкт-Петербург
Санкт-Петербург — Серебряный сервиз / Санкт-Петербург — Натюрморт с лимонами
Санкт-Петербург — Невский Приём
промпты: — painting in Dutch Still Life Of 17th Century style, aristocratic table with porcelain, wine glass, oysters, lemon, silver tray, cold reflections, pale blue, grey and silver color palette, cold diffused light, strict symmetrical composition, elegant minimalism — painting in Dutch Still Life Of 17th Century style, vanitas with fading flowers, glass, lemon peel, cold grey blue palette, subtle reflections, calm melancholic mood, soft shadows, museum quality — painting in Dutch Still Life Of 17th Century style, Saint Petersburg aristocracy, seafood, wine, silk fabric, muted cold tones, soft window light, controlled composition, cinematic atmosphere, 8k detail
Казань
Казань — Натюрморт с плодами
Казань — Татарский стол / Казань — Приволжский натюрморт
промпты: — painting in Dutch Still Life Of 17th Century style, vanitas composition with fruits, tea, extinguished candle, ornamental cloth, emerald and crimson palette, dramatic light, symbolic richness — painting in Dutch Still Life Of 17th Century style, ornate still life with fruits, tea, honey, patterned fabrics, intricate Islamic geometric ornaments, warm palette, soft shadows, rich textures, cinematic detail — painting in Dutch Still Life Of 17th Century style, top angle decorative still life, spices, fruits, tea, patterned textile, rich oriental palette, soft glowing light, intricate detail
Екатеринбург
Екатеринбург — Vanitas / Екатеринбург — Натюрморт с хлебом
Екатеринбург — Уральский натюрморт
промпты: — painting in Dutch Still Life Of 17th Century style, vanitas with broken metal, stone, candle, dark industrial palette, dramatic chiaroscuro, emotional tension — painting in Dutch Still Life Of 17th Century style, minerals, metal tools, bread, rough textures, cold grey steel palette, harsh side lighting, geometric composition, ultra detailed — painting in Dutch Still Life Of 17th Century style, Ural minerals and metal, minimal objects, cold green grey palette, sharp light beam, strict composition, heavy atmosphere
Хабаровск
Хабаровск — Натюрморт с морепродуктами
Хабаровск — Натюрморт с рыбами / Хабаровск — Азиатский обед
промпты: — painting in Dutch Still Life Of 17th Century style, seafood arrangement with porcelain and wood, foggy light, desaturated colors, cinematic atmosphere — painting in Dutch Still Life Of 17th Century style, fish, seafood, porcelain bowl, chopsticks, tea, subtle Asian decorative elements, mixed warm and cool tones, muted palette, soft misty lighting, balanced composition, cultural fusion — painting in Dutch Still Life Of 17th Century style, top view seafood still life, chopsticks, fish, tea, balanced geometry, muted tones, high detail
Кубань
Кубань — Натюрморт с вином
Кубань — Изобилие / Кубань — Урожай
промпты: — painting in Dutch Still Life Of 17th Century style, harvest still life with fruits, vegetables, wine jug, wheat, wooden table, warm golden light, vibrant but muted palette, dense composition, rich textures, cinematic atmosphere — painting in Dutch Still Life Of 17th Century style, top view harvest composition, fruits and vegetables, wine, rustic cloth, bright warm palette, balanced geometry, soft natural lighting, ultra realistic — painting in Dutch Still Life Of 17th Century style, vanitas with overripe fruits, wine, bread, sunflower, warm red and gold palette, glowing light, symbolic richness, high detail textures
Вологда
Вологда — Молочный натюрморт / Вологда — Натюрморт с кружевом
Вологда — Натюрморт с хлебом и маслом
промпты: — painting in Dutch Still Life Of 17th Century style, butter, milk, bread, lace cloth, simple ceramic dishes, white, cream and soft pastel palette, very soft diffused light, airy composition, delicate textures, ultra detailed — painting in Dutch Still Life Of 17th Century style, close up of butter and bread, lace textile, creamy palette, soft glowing light, subtle textures, gentle composition — painting in Dutch Still Life Of 17th Century style, butter, milk, bread, lace cloth, simple ceramic dishes, white, cream and soft pastel color palette, very soft diffused light, airy composition, calm and quiet atmosphere
Магадан
Магадан — Натюрморт с сушеной рыбой
Магадан — Натюрморт с куском хлеба / Магадан — Простой стол
промпты: — painting in Dutch Still Life Of 17th Century style, vanitas with empty plate, dried fish, extinguished candle, dark grey palette, low light, emotional tension, stark composition — painting in Dutch Still Life Of 17th Century style, minimal table with dried fish, metal cup, bread, cold grey blue and black palette, dim light, deep shadows, sparse composition, strong atmosphere, ultra detailed — painting in Dutch Still Life Of 17th Century style, top view sparse arrangement, fish, cup, bread, muted desaturated palette, soft but dark lighting, feeling of isolation
Башкортостан
Башкортостан — Натюрморт с мясом / Башкортостан — Натюрморт со свечой
Башкортостан — Сладкая трапеза
промпты: — painting in Dutch Still Life Of 17th Century style, honey, kumis, meat, wooden bowls, traditional ornaments on textiles, warm honey, brown and cream palette, soft warm light, circular composition, ultra detailed — painting in Dutch Still Life Of 17th Century style, top view circular composition, honey, dairy, bread, patterned textile, warm palette, soft natural lighting — painting in Dutch Still Life Of 17th Century style, close up with honey dripping, wooden utensils, textile with ethnic patterns, golden warm palette, high texture detail
Суздаль
Суздаль — Урожай
Суздаль — Натюрморт с хлебом и травами / Суздаль — Натюрморт с овощами
промпты: — painting in Dutch Still Life Of 17th Century style, vegetables, herbs, milk, rustic wooden table, simple linen cloth, warm earthy green, yellow and brown palette, soft sunlight, calm horizontal composition, rural atmosphere — painting in Dutch Still Life Of 17th Century style, pastoral still life with cabbage, bread, herbs, clay pottery, earthy tones, gentle warm light, peaceful atmosphere — painting in Dutch Still Life Of 17th Century style, top view simple rural composition, vegetables, herbs, cloth, warm muted palette, soft natural light
Байкал
Байкал — Натюрморт с кувшином / Байкал — Натюрморт с рыбами
Байкал — Натюрморт со льдом
промпты: — painting in Dutch Still Life Of 17th Century style, fish, ice, clear water in glass, wooden table, cold blue, white and transparent palette, icy light, minimal composition, strong sense of space and cold — painting in Dutch Still Life Of 17th Century style, minimal composition with fish and water, transparent texture, cold desaturated palette, soft icy lighting, high realism — painting in Dutch Still Life Of 17th Century style, top view composition with fish, ice, glass, minimal objects, pale blue and white palette, soft diffused cold light, ultra realistic
Нижний Новгород
Нижний Новгород — Купеческий Стол
Нижний Новгород — Натюрморт со специями / Нижний Новгород — Натюрморт с фруктами
промпты: — painting in Dutch Still Life Of 17th Century style, merchant table with diverse goods, fruits, textiles, pottery, warm mixed palette, balanced lighting, layered composition — painting in Dutch Still Life Of 17th Century style, busy still life with spices, fruits, fabrics, complex arrangement, soft shadows, cinematic detail — painting in Dutch Still Life Of 17th Century style, vanitas with trade goods, fruit, candle, cloth, muted tones, symbolic richness, dramatic light
Тула
Тула — Чаепитие / Тула — Натюрморт с пряниками
Тула — Натюрморт с самоваром
промпты: — painting in Dutch Still Life Of 17th Century style, rustic tea table with samovar, bread, sweets, dark warm palette, soft glowing light, calm composition — painting in Dutch Still Life Of 17th Century style, samovar, gingerbread, tea set, metal textures, warm copper, brown and dark tones palette, focused directional light, centered composition, emphasis on craftsmanship — painting in Dutch Still Life Of 17th Century style, top view tea composition, samovar, gingerbread, cups, warm palette, balanced layout, high realism
Владимир
Владимир — Скромный натюрморт
Владимир — Натюрморт с кувшином / Владимир — Натюрморт с хлебом и мёдом
промпты: — painting in Dutch Still Life Of 17th Century style, bread, honey, clay pottery, candle, simple table, muted ochre, white and soft green palette, gentle diffused light, minimal composition, spiritual calm atmosphere — painting in Dutch Still Life Of 17th Century style, minimal still life with bread and pottery, soft earthy palette, quiet light, balanced composition, high realism — painting in Dutch Still Life Of 17th Century style, top view minimal composition, bread, honey, cloth, muted palette, soft natural light
Кижи
Кижи — Натюрморт с ягодами / Кижи — Натюрморт с рыбами
Кижи — Северный натюрморт
промпты: — painting in Dutch Still Life Of 17th Century style, wooden utensils, fish, berries, rough textures, grey brown and muted green palette, low northern light, very minimal composition, ultra detailed — painting in Dutch Still Life Of 17th Century style, top view minimal composition, wooden objects, fish, berries, desaturated palette, soft northern light — painting in Dutch Still Life Of 17th Century style, wooden utensils, fish, berries, rough textures, grey brown and muted green palette, low northern light, very minimal composition, emphasis on material and simplicity
Дагестан
Дагестан — Натюрморт с ягнёнком
Дагестан — Натюрморт с лепёшкой / Дагестан — Чайный сервиз
промпты: — painting in Dutch Still Life Of 17th Century style, rustic still life with lamb, bread, clay and copper tableware, carved patterns, rich textile with geometric Caucasian ornaments, deep warm tones, strong chiaroscuro lighting, cinematic atmosphere — painting in Dutch Still Life Of 17th Century style, mountain table with flatbread, meat, grapes, pomegranate, copper dishes, traditional Caucasian ornaments on carpet, warm earthy palette of red, brown and gold, dramatic side lighting, dense composition, ultra detailed, 8k — painting in Dutch Still Life Of 17th Century style, top view still life with fruits, bread, tea set, carpet with intricate Caucasian ornaments, warm natural palette, balanced geometry, soft diffused light, ultra realistic
мерч
календарь
открытки
заключение
В результате проделанной работы модель научилась передавать характерные особенности голландского натюрморта XVII века: светотеневые переходы мягкие и естественные, есть характерное для этого жанра контрастное освещение, когда объекты подсвечиваются направленным боковым светом. Особенно качественно модель освоила передачу стекла — хрустальные бокалы и вазы выглядят реалистично с правильным преломлением света и бликами. Также она запомнила типичную композицию — диагональное построение, асимметричное расположение предметов, часто с доминирующим вертикальным элементом. Из предметного ряда модель уверенно воспроизводит классические элементы голландского натюрморта: роскошные тканевые скатерти, полуочищенные лимоны с завитками цедры, раскрытые устрицы, изысканную посуду из серебра и олова, а также традиционные цветочные композиции в стеклянных вазах. Все это позволяет получать стабильно качественные результаты с первой генерации без необходимости перегенерации или доработки артефактов.
