DistortedCoil — LoRA-модель для Stable Diffusion XL, выполненная в художественной манере эскизов, нарисованных углём. Цель проекта — воссоздать манеру грубых и резких штрихов, характерную для создания набросков.
В качестве датасета для этой модели я использовала свои эскизы, каждый из которых я делала в течение 5–15 минут с помощью художественного угля:
Исходные изображения для обучения:
Генерация, получаемая на выходе:
Процесс обучения
Платформа, которую я использовала во время работы над этой моделью — Kaggle, так как он позволяет работать до 30 часов непрерывно, в отличие от Google Colab, и предоставляет более мощные акселераторы. В качестве базовой модели для генерации я использовала Stable Diffusion XL (SDXL). Также в процессе работы мне понадобились такие утилиты, как BLIP, который помог мне автоматически синтезировать тэги для каждого изображения в датасете, а методом дообучения был выбран DreamBooth + LoRA. Использовала для тренировкт модели всего 10 референсных изображений.
В сгенерированных изображениях удалось сохранить ключевую характеристику оригинальных эскизов — динамичные линие. Штрих остаётся хаотичным и прерывистым.
С другой стороны модель внесла свои изменения: штрихи увеличились в масштабе, а изображение из-за этого стало более «увесистым».
