Примеры исходных фотографий (морские пейзажи)
С раннего детства я чувствую глубокую связь с Балтийским морем. Я никогда не жил в этом регионе на постоянной основе, но очень люблю по нему путешествовать, радуясь каждой возможности вернуться — буквально или просматривая старые фотографии.
Примеры исходных фотографий (городские пейзажи)
Neurobaltijos Atvirukai (в переводе с литовского: «нейробалтийские открытки») — это вымышленный фотоальбом с городскими и морскими пейзажами воображаемых балтийских курортных городов.
Так как все фотографии, на которых нейросеть обучалась, были сделаны мной в Калининградской области, большинство полученных изображений моря во многом схожи: длинные песчаные береговые линии, много растительности, невысокие волны. Что касается городских пейзажей, то нейросеть отлично уловила архитектурную особенность этого региона, где советский модернизм встречается с немецким наследием. Благодаря этой особенности при генерации иногда возникают интересные артефакты.
Принцип работы кода
Для обучения нейросети выбраны 47 фотографий-пейзажей из личного архива.
Для дообучения и генерации изображений использовалась модель Stable Diffusion.
Код в ноутбуке разделен на блоки. В блоке «Setup» производится проверка производительности, устанавливаются нужные библиотеки и сама модель, а также указывается путь на диск, где находится папка с исходными фотографиями.
В блоке «Dataset» указывается путь к папке с фотографиями, открывается превью фотографий из папки для проверки корректной работы, затем создаются описания изображений, использующихся при обучении модели. После этого производится очистка памяти.
В блоках «Prep for training» и «Train» модель обучается с инструментом LoRA, а затем сохраняется на диск.
В финальном блоке «Inference» загружается обученная модель, а затем производится генерация изображения при помощи промпта.
