«Этот образ, который живет в твоем воображении, не передается напрямую — не существует способа заставить другого увидеть то же, что видишь ты»
— Сит ван Хаут в статье «Размышляя в моменте» для своего официального веб-сайта.
Концепция проекта
Сит ван Хаут. Работы из серии «Building the Garden» (2011), слева направо: [1] «In the Garden of Jacob de Fay» | [2] «The Temple of Flora» | [3] «Erwtje Tuberose»
Проект направлен на исследование визуального языка художницы Сит ван Хаут и его интерпретацию с помощью нейросетевых инструментов. Главной задачей была не прямая стилизация, а передача интуитивной природы ее живописи средствами цифровой генерации. Ее работы вдохновили меня своей тонкой природной эстетикой — я стремилась сохранить это ощущение в пластике собственных образов, используя нейросеть в качестве инструмента.
Получившаяся серия включает в себя характерные черты метода Сит ван Хаут, но раскрывает их в оригинальной, самостоятельной форме. В основной части проекта, под изображениями, я описываю эти черты — именно они создают ощущение серийности и внутреннего единства.
Сит ван Хаут. Работы из серии «After L.C.» (2014), слева направо: «Angel and Dragon (Orange)» | «Chariot of Fire» | «Star in Water»
Сит ван Хаут. «Twinflower» (2022) из серии «Love Lies Bleeding»
Образы рождались из взаимодействия личных ощущений и машинного восприятия. Я создала текстовые описания (в будущем — промты), построенные через наблюдение за ее живописью: внимание к телесности, иллюзия движения, следы, эффекты растекания, мягкости, пятна, глубины. Для меня оказалось принципиально важным сохранить ассоциативную материальность, возникающую в ее работах — ткани, тела, поверхностей, через которые что-то дышит, течет или запечатлевается.
Сит ван Хаут. Работы из серии «Thinking the Garden» (2012-2013), слева направо: «Black Iris» | «Thinking the Garden Purple-Yellow»
Серия изображений
»…carnations with frayed translucent petals against woodgrain streaked with jade green and rose quartz»
- »…a garden of flowers with watercolor tears» (2)
- »…a paintbrush dripping that turn into tiny birds»
Сгенерированная серия включает изображения, будто бы сотканные из текучих структур, разветвленных сосудистых линий, прорастающих масс. Подобные мотивы отсылают к анатомическим срезам, корневым системам, тканевым структурам. В некоторых изображениях форма стекает вниз или завихряется по центру, в других — словно расплывается по поверхности. Повторяется характерное для Сит визуальное ощущение органики — как будто материал движется, распадается или срастается.
Нейросеть воспроизводит технику свободного растекания и размывания краски. Так, пигмент расползается по фону, формируя мягкие, органичные контуры, напоминающие пятна на биологических тканях. Визуально эффект приближен к живописи акрилом и акварелью по влажной бумаге. Цифровые капли варьируются по плотности, с вытеканием вдоль гравитационных линий. Внимание сосредоточено на передаче неуправляемости материала, что пересекается с оригинальной техникой художницы.
- »…x-ray transparent magnolia petals with vascular systems mapped in wire, suspended over a corroding mirror pooling with liquid watercolor and mercury»
- »…cherry blossom branches rendered via atomic force microscopy, molecular bonds visible as gold filigree against paint runoff and decaying silk»
- »…geometric diamonds with razor-sharp edges floating against a chaotic splash of liquid gold and crushed berries, every line drawn with 0.3 mm technical pen precision»
- »…organic forms and layered textures»
- »…surgical-precise line drawings of botanical specimens dissected by violent eruptions of acrylic paint in industrial yellows and warning-sign reds»
Преобладают телесные, розовые, бордовые, серые, пепельные, молочные тона. Встречаются плотные цветовые пятна и их растекания, активные акценты и приглушенные переходы. Контрасты мягкие, цвет функционирует как элемент телесной структуры. Свет на изображениях — слабый, рассеянный, глубинный.
»…a carnival of melting clocks and carnivorous orchids dripping liquid gold»
Во многих изображениях ощущается фактурность: словно в материале присутствует давление, жидкость, осадок. Это достигается за счет эффектов многослойности, размытия, следов от прикосновения. Где-то поверхности выглядят как влажные, запечатлевшие движение или касание, где-то — как высохшие следы, напоминающие бумагу или кожу. Эти образы возникают без прямой имитации, но несут на себе тот же телесный характер, как у Сит.
- »…a fever dream of fractured porcelain»
- »…a garden of flowers bleeding watercolor tears»
- »…calligraphic brushstrokes transforming into suspended copper wires, vibrating with energy»
Изображения построены на основных видах композиции, которые характерны для работ художницы: есть вертикали с направленным к низу полотна движением, есть плотные центральные массы, есть ритмичные разреженные формы.
»…x-ray transparent magnolia petals with vascular systems mapped in platinum wire, suspended over a corroding mirror pooling with liquid watercolor and mercury»
Линейные элементы, схожие с нитями, пересекают цветовые поля и создают ритм, отсылающий к ручному шву. Линии дрожащие, с рваными краями, разной длины и плотности. Формируется эффект волоконистой неоднородности — черта, присущая смешанным техникам Сит ван Хаут, когда реальные и нарисованные нити интегрируются в композицию.
»…bright toxic blossoms blooming through cracks in a mirrored sky»
Удалось воспроизвести ключевые качества ее живописи: эффект живой материи, отсутствие жесткой локализации формы, иллюзия движения, ассоциации с телом и живыми поверхностями. Визуальный язык финальной серии держится на тех же принципах: текучесть, осадочность, телесность, след, взаимодействие внутреннего и внешнего без буквальной фигуративности. Эти изображения вызывают те же ощущения — как будто это нечто живое, на границе между материальным и чувственным.
Присутствуют эффекты наложения и просвечивания, за счет чего возникает пространственность и визуальная тактильность. Цветовые формы вытесняют фон, выходят за пределы «листа», моделируя «открытые формы», нарушающие стабильность кадра. Расфокусировка и частичная утрата очертаний придают изображениям фрагментарный, многослойный характер. Возникает образ памяти как подвижной, недоступной целиком структуры.
»…a cosmic garden where galaxies bloom into iridescent orchids»
Серия работ охватывает различные визуальные регистры: от почти невесомых, пыльных и прозрачных — до плотных, насыщенных, с активной массой и структурой. Этот факт подтверждает, что внутри выбранного метода возможны вариации, не выходящие за пределы образного языка художницы. В этом — подтверждение успешного освоения нейросетью стилистики и ее адаптации к задаче.
- »…a topographical map extruded into three-dimensional ribbons of vellum, floating over volcanic eruptions of gouache and spray paint»
- »…a tsunami frozen mid-crash into geometric shards of frosted glass and fishing net fragments»
- »…glitching polygon trees growing from fractured motherboards, their branches pixelating into leaves»
- »…a garden of flowers bleeding watercolor tears»
Генерация шла с помощью текстовых описаний без указания на конкретные изображения. Я избегала прямых отсылок к Сит ван Хаут, используя метафорические формулировки, передающие нужное состояние. Отбор работ велся вручную, каждый образ проходил через фильтр моего личного восприятия. В ряде изображений появляются элементы, напоминающие реальные мазки кисти или же ощущение сжатого, слипшегося текстиля.
Текстурные разрывы, вертикальные струи и зонированные пятна напоминают просачивание краски сквозь волокна бумаги. Слои цвета взаимодействуют друг с другом, оставляя «щели» — промежутки между зонами пигмента, как при работе на влажной поверхности.
»…where bruised violets and electric yellows scream in perfect harmony»
На бледном фоне концентрируются локальные всплески пигмента. Сгустки варьируются по размеру, насыщенности и фактуре, формируя акценты и зоны напряжения. Эффект микро-движения, также характерный для работ Сит ван Хаут, реализуется вибрацией множества цветовых пятен, близко расположенных друг к другу. Слои неонового и флуоресцентного пигмента наслаиваются, создавая ощущение плотной светящейся поверхности.
Процесс обучения
Превью загруженных в директорию изображений
В начале я проверила наличие GPU и установила нужные библиотеки: bitsandbytes, transformers, accelerate, peft и актуальную версию diffusers. Также был скачан скрипт для обучения DreamBooth с LoRA. После настройки среды я создала директорию для изображений и скопировала в нее данные. Для быстрой проверки загрузки была написана функция, формирующая из изображений коллаж, после чего я проверила первые примеры.
Для генерации подписей к изображениям использовалась модель BLIP. Я реализовала функцию, которая создает описание для каждого изображения с учетом заданного префикса в стиле SEET VAN HOUT. Результаты были сохранены в формате JSONL. После генерации я очистила память, удалила модель, вызвала сборщик мусора и настроила локаль, чтобы избежать ошибок.
После подготовки данных я авторизовалась в аккаунт Hugging Face Hub и установила библиотеку datasets. В дальнейшем я запустила процесс дообучения модели DreamBooth с использованием LoRA. В параметрах обучения были указаны базовая модель, путь к VAE, директория с рисунками, instance prompt, разрешение, размер батча, количество шагов, scheduler и значение seed. Обучение проводилось в течение 1000 шагов, промежуточные результаты сохранились на 500 шаге.
По завершении обучения я сгенерировала model card с помощью шаблона, а также сохранила ее в директории с моделью. После с помощью API Hugging Face я загрузила полную директорию с дообученными весами в репозиторий.
На последнем этапе я загрузила пайплайн Stable Diffusion XL, подключила к нему обученные веса и кастомный VAE. Затем с помощью заранее сформулированных текстовых запросов в стилистике художницы были сгенерированы новые изображения. Каждая генерация выполнялась с числом шагов диффузии, равным 25, что обеспечивало необходимую детализацию.
Весь процесс — от подготовки изображений и генерации описаний до обучения модели, публикации и получения новых изображений — был успешно реализован.
Подведение итогов
«Холст в какой-то момент встречается с моим взглядом и говорит: „Не трогай. У меня есть право быть таким, с присущим лишь мне своеобразием"»
— Сит ван Хаут в статье «Реконструкции цветов» для своего официального веб-сайта.
Финальная серия изображений в стиле Сит ван Хаут
С помощью нейросетевого инструментария удалось не только стилистически приблизиться к живописи художницы Сит ван Хаут, но и создать авторскую серию, сохраняющую ключевые черты ее метода — органику, текучесть, телесность, многослойность и фактурность.
Финальные изображения демонстрируют точную визуальную и смысловую связь с отправной эстетикой, подтверждая, что стилистическая интерпретация может быть не только технической, но и очень чувственной — рождающейся из внутреннего сонастроя с материалом.
Описание применения генеративной модели
Для создания изображений я использовала модель Stable Diffusion XL и платформу Hugging Face. Для повышения качества полученных генераций я обратилась к Hyper Upscale v3.5 от Problembo, который помог мне увеличить разрешение кадров и улучшить детализацию узоров. Для единой обработки промтов я использовала ChatGPT.
