«Звёздная ночь» — Винсент Ван Гог, 1889
Винсент Ван Гог — нидерландский художник конца XIX века, один из самых известных представителей постимпрессионизма. Сегодня его работы знают практически все, но при жизни он оставался малоизвестным.
«Ирисы» 1889 / «Ирисы» 1889 / «Спальня в Арле» 1888
Его стиль легко узнать, так как он писал очень экспрессивно, с плотными, заметными мазками, часто искажал формы и использовал яркие, контрастные цвета. Для него было важнее передать ощущение и эмоцию, чем точную реальность.
Идея проекта:
«Белый дом ночью» Винсент Ван Гог, 1890
В этом проекте я хотела попробовать «перенести» стиль Ван Гога в генеративную модель. То есть не просто повторять его картины, а научить модель понимать его визуальный язык и применять его к новым сюжетам
Для этого я обучила LoRA-модель на базе Stable Diffusion XL.
Датасет, использованный для обучения:
Для обучения я собрала датасет из работ Ван Гога, выбрав наиболее известные и характерные картины, потому что именно в них лучше всего проявляется его стиль: закрученные мазки, контрастные цвета, динамика в небе и природе
В датасете есть разные типы изображений, от пейзажей до натюрмортов. Это важно, потому что модель учится на более широком визуальном опыте.
Собранный датасет, состоящий из 20 картин Винсента Ван Гога
Изображения были взяты с сайта VanGogh-Vincent. Все они находятся в Public Domain (CC0), поэтому их можно использовать для обучения.
Подход к обучению
Загрузка датасета
Проверка датасета
Я решила не брать слишком большой датасет, а сосредоточиться на качестве. В итоге использовалось ограниченное количество изображений. но все они — максимально «характерные»
Для обучения применялась технология LoRA, которая позволяет дообучать модель быстро и без больших ресурсов.
Обучение модели
Обучение проходило в Google Colab.
Чтобы модель поместилась в память, изображения были приведены к размеру 512×512. Это немного упростило детали, но позволило стабильно провести обучение.
Итоги
По итогу всех генераций было создано 11 изображений, повторяющий художественный стиль Винсента Ван Гога.
Внизу под изображениями указаны промты, которые были использованы для генераций.
a lone tree bending in the wind under a swirling sky, painting in vangogh_style, dramatic movement, expressive brush strokes, high contrast / a sky over a city, painting in vangogh_style, oil painting
a night sky over a city, painting in vangogh_style, oil painting, expressive brush strokes, swirling sky
В итоге получилась лёгкая LoRA-модель, которая: улавливает основные черты стиля Ван Гога и может применять их к разным сюжетам.
a countryside landscape with fields and hills, bright sun, painting in vangogh_styley / a small european town at night, glowing windows, deep blue sky, painting in vangogh_style
Чтобы улучшить итоговые изображения, я дополнительно использовала апскейл (увеличение разрешения).
Это помогло сделать картинки более аккуратными и выразительными.
a starry night over a quiet village, large swirling stars, painting in vangogh_style, dramatic sky motion, high contrast, oil painting texture
a rural village with farmers working in the field, small houses, warm sunlight, painting in vangogh_style, expressive brush strokes, vibrant colors, dynamic sky, oil painting texture
a city park with trees and people walking along a path, autumn colors, painting in vang / a seashore with waves crashing and two people walking along the coast, dramatic sky, painting in vangogh_style
a wheat field under a dramatic sky, wind moving the crops, painting in vangogh_style / a cozy outdoor cafe at night with warm lights, painting in vangogh_style
Описание применения генеративной модели:
В работе использовалась LLM модель ChatGpt 5.2 Codex для написания блока скачивания VanGogh-Vincent и блока скачивания результатов в zip архиве из Google Colab
