Мне нравятся изразцы из керамики. А еще они квадратные. Что может быть лучше? Только много изразцов! А что может лучше, чем много изразцов? Генератор изразцов!
Исходные изображения для обучения (пример)
Для создания генератора изразцов использовалась модель Stable Diffusion XL (SDXL). Для адаптации модели к специфическому стилю применялись методы дообучения DreamBooth и LoRA. Датасет был собран из открытых источников и включал изображения керамических изразцов, которые были предварительно приведены к единому формату 512×512.
Самые удачные генерации с небольшой цветокоррекцией
Модель, полученная в результате обучения, была сохранена в репозиторий на HuggingFace.
Генератор отлично передает материал глазури и переливы цветов в зависимости от рельефа. Он отлично вписывает в изразец предметы и животных.
prompt = «Rabbit In the style of CERAMIC TILE»
prompt = «Deer In the style of CERAMIC TILE»
prompt = «Dragon In the style of CERAMIC TILE»
prompt = «Dragon In the style of CERAMIC TILE»
prompt = «Dragon In the style of CERAMIC TILE»
prompt = «Deer In the style of CERAMIC TILE, vivid yellow color and vivid green color»
prompt = «Duck In the style of CERAMIC TILE»
Иногда генератор путается в сложных предметах, такие как орнаменты, рога и конечности животных. Из-за чего нейросеть плохо справляется с генерацией растений или рисует лишние конечности.
Летающая голова
prompt = «Flower In the style of CERAMIC TILE»
Шесть ног у оленя
Генератор способен создать изразцы, которые используют несколько цветов.
prompt = «<…> In the style of CERAMIC TILE, vivid red color and vivid green colour and vivid yellow color»
«head of the dragon In the style of CERAMIC TILE vivid red color and vivid green color»
Все сгенерированные изображения
Описание применения генеративной модели
LoRA — метод дообучения нейросетей, при котором обучаются небольшие добавочные матрицы вместо изменения всех весов модели. Это снижает требования к памяти и ускоряет обучение.
DreamBooth — метод дообучения, позволяющий модели генерировать конкретные объекты или стиль по небольшому числу примеров.
Для обложки использованы генерации дообученной SDXL модели, собранные в коллаж и обработанные при помощи Nano Banana.
