Концепция
Поль Сезанн (1839-1906), ключевая фигура постимпрессионизма, он радикально переосмыслил классический пейзаж. В его работах пространство выстраивается с помощью плотных цветовых плоскостей и ритмичных мазков, создающих эффект скульптурной монументальности и особого «веса» объектов. Отказываясь от традиционной перспективы, Сезанн формировал глубину за счет модуляции теплых и холодных тонов, превращая ландшафт в устойчивую композицию.
Данный проект посвящен обучению нейросети на массиве пейзажной живописи Сезанна. Цель работы — научить алгоритм генерировать новые изображения, используя специфический визуальный код художника. Модель должна усвоить принципы организации пространства и характерную тектонику мазка, применяя их для создания оригинальных ландшафтов.
Датасет
Примеры работ из датасета
Обучение модели
Первые несколько ячеек кода — подготовка к обучению нейросети: проверка ресурсов видеокарты, установка библиотек и скачивание скриптов.
Подготовка библиотек и скриптов
Следующий блок кода отвечает за подготовку обучающей выборки: он создает рабочую директорию и позволяет загрузить изображения в Colab. Затем система автоматически генерирует описания изображений с помощью модели BLIP.
Далее мы добавляем уникальный идентификатор (TOK, concept token identifier) в текстовое описание каждой картинки. Благодаря нему нейросеть сразу понимает, что нужно генерировать изображение, основываясь именно на моем датасете.
Загрузка и обработка датасета
После этого идет блок, который запускает основной процесс обучения модели SDXL с использованием LoRA.
В итоге модель обучилась за 1500 шагов.
Обучение нейросети
Финальным этапом в обучении я загрузил новую модель на Huggingface и начал её тестировать.
Результат
При генерации изображений я руководствовался следующими категориями: — Пейзажи, содержащие, архитектурные постройки (такие как дома, мосты) — Пейзажи, содержащие, горы и скалы — Лесные пейзажи с большим количеством растений
По мере генерации я заметил, что в изображениях, где здания не были активно интегрированы в среду, а являлись центральным объектом, нейросеть справилась лучше — цвета более чистые, а контуры объектов четкие и очерченные.
И, наоборот, в случае, где вид на дом перекрывается деревьями, а сами растения занимают большую часть изображения — цвета оказываются более грязными, а образы самих построек узнаются все меньше и меньше.
Промпты: — landscape painted in oil in the style of Cezanne, A lonely stone house with a flat roof, surrounded by dense olive trees. Sharp shadows on the walls, bright midday sun. — landscape painted in oil in the style of Cezanne, A view from above of a cluster of small houses. A geometric jumble of rectangular walls and triangular roof slopes amidst greenery — landscape painted in oil in the style of Cezanne, A massive square building of light stone stands amid golden fields. Surrounding the house are several haystacks, almost perfectly conical in shape — landscape painted in oil in the style of Cezanne, a cubic building by the water, surrounded by vertical tree trunks. The reflection in the water is broken into patches of color — landscape painted in oil in the style of Cezanne, a massive stone bridge with high arches crosses a deep ravine. In the background are hills resembling frozen waves
Пейзажи, содержащие горные массивы, также выглядят достаточно органично, однако во многих местах цвета также кажутся грязноватыми, однако это обусловлено скорее тем, что в оригинальных работах художника зеленые оттенки растений смешиваются с природными цветами гор.
Промпты: — landscape painted in oil in the style of Cezanne, A massive, rocky mountain dominates the horizon. Its slopes are divided into distinct planes of light and shadow — landscape painted in oil in the style of Cezanne, An abandoned limestone quarry with sheer, stepped walls. The ochre and golden hues of the stone contrast with the bright blue sky. — landscape painted in oil in the style of Cezanne, A winding road winds up between massive boulders. At the summit, sparse shrubs accentuate the scale of the stones — landscape painted in oil in the style of Cezanne, The hillsides are broken into smooth horizontal steps. Rows of vines create a repeating graphic pattern, contrasting with the soft clouds on the horizon
Что касается серии изображений с множеством деревьев: все они оказались достаточно хорошего качества, но при этом довольно однообразными. Хочется также отметить что модель отлично справилась с визуализацией воды.
Промпты: — landscape painted in oil in the style of Cezanne, A row of trees forms a natural wall. The space between the trunks is filled with vibrating hot air — landscape painted in oil in the style of Cezanne, Tall pine trees with twisted trunks. A sunlit clearing peeks through the branches, creating a mosaic of reflections — landscape painted in oil in the style of Cezanne, A straight road leading deep into the forest, framed by heavy treetops that close together at the top like a vault — landscape painted in oil in the style of Cezanne, A shallow pond surrounded by weeping willows. The foliage appears as a dense layering of brushstrokes in various shades of green — landscape painted in oil in the style of Cezanne, A view of the sea through the crowns of coastal trees. The branches form a natural frame, and the sea horizon appears as a high, dense wall, meeting the sky
Итоги
Таким образом, нейросеть очень хорошо передала стилистику художника, на генерациях отлично видно манеру Сезанна работать крупными мазками. При этом часто картинки получались уж слишком похожими на определенные работы художника — если промпт напоминал сюжет уже существующей картины, нейросеть практически копировала оригинальную работу.
Помимо этого на всех изображениях, созданных моделью, примерно одинаковая контрастность и усредненная цветовая гамма. Это особенно заметно в сравнении с оригинальными картинами художника, где вариативность приемов и красок гораздо больше.
Несмотря на очевидные успехи, мы можем сказать что нейросеть не способна полноценно восполнить деятельность того или иного творца, она лишь повторяет выученные команды и отдельные стилистические приемы автора.
Дополнительно
В проекте были использованы и другие нейросети: для работы с ошибками в коде был использован Gemini от Google, а для улучшения качества изображений — Topaz Gigapixel.
