-
Что такое Stable Diffusion
-
Чем Stable Diffusion отличается от DALL·E 2, Midjourney и других сетей?
- Как работает Stable Diffusion
-
Различные стили, модели, разнообразие направлений в Нейроискусстве.
-
Критика Stable Diffusion
- Реальное применение нейросетей в работе, бизнесе и в успешных проектах.
-
Что нас ждёт в будущем?
Когда в августе этого года компания Stability.ai объявила о публичном релизе модели 1.4 Stable Diffusion, это произвело эффект разорвавшейся бомбы. Сообщество разработчиков по всему миру было потрясено новой технологией, которая стала доступна каждому желающему. Количество модификаций и форков Stable Diffusion начало резко расти.
Креативные люди по всему миру начали активно осваивать новую для человечества профессию “Нейрохудожник”. На то, что у традиционных художников уходили дни, благодаря новой технологии, стало возможно выполнить за считанные секунды. За считанные месяцы эта новая, невероятная технология наполнила страницы интернетов миллионами новых работ в абсолютно разных жанрах. Художники по всему миру запаниковали и стали заявлять о необходимости запретить работы нейросетей к публикации на популярных площадках, потому что это может разрушить их источники дохода.
Так что же это, хайп или революция? Разберем все по порядку в этом материале.
Что такое Stable Diffusion
Stable Diffusion - это нейросеть, позволяющая создавать картинки по описанию. Звучит просто, но на деле это сложный инструмент, который позволяет использовать стили, различные настройки и модели для того, чтобы получить замечательный результат. Посмотрите на некоторые работы этой нейросети.
Чем Stable Diffusion отличается от DALL·E 2, Midjourney и других сетей?
Главное преимущество Stable Diffusion в том, что эта сеть с открытым кодом. Она бесплатна и есть все необходимые инструменты для ее модификации. Отдельные энтузиасты и целые компании создают на её основе свои модели, стили версии и даже целые коммерческие сервисы. Так, например, DeviantArt запустил сервис под названием DreamUp, а приложение Prism услугу по созданию аватарок на основе искусственного интеллекта. Благодаря этому, Stable Diffusion можно назвать революцией, а не еще одним успешным коммерческим проектом. Джин уже выпрыгнул из бутылки, и как в примере с торрентами даже если кто-то, например, художники или студии вроде дисней, будут пытаться запретить использование их стиля и работ в нейроарте, любой энтузиаст может сделать это у себя дома. Технология уже ушла в массы, свои нейросети на основе кода Stable Diffusion делают тысячи людей и сотни компаний по всему миру.
Как работает Stable Diffusion
Стебл Дифьюжн построен на одноименном алгоритме “Стабильного Рассеивания”. Нейросеть создаёт шум, в котором подобно человеческому разуму она видит некоторые образы. Находит образы по описанию и выделяет их, усиливая эффект после нескольких итераций. На выходе из шума получается то, что было описано в задаче.
Txt-Img
В этом режиме нейросеть рисует арт по описанию, создает изображение с нуля. Это стандартный режим работы сети, в котором “нарисовано” большинство произведений нейроисскуства.
Img-img
В этом режиме модифицирует уже существующее изображение под запрос пользователя. Это очень творческий инструмент, который позволяет расширить возможности txt-img, или создавать по-настоящему интересные версии уже существующих работ. Как пример можно привести HD версии графики из старых игр.
Различные стили, модели, разнообразие направлений в Нейроискусстве.
Изначально Stable Diffusion имела только одну модель в доступе - SD 1.4, но потом начали появляться и другие. Как проприетарные NovelAi, так и открытые вроде модели Диснея, которую натренировал пользователь на Huggingface.
Stable Diffusion обладает богатым инструментарием для создания и модификации моделей, позволяя создавать поистине интересные сочетания. Часто они связаны со стилем конкретного художника или студии, например, Pixar или Дисней. Это в теории может создать риски с точки зрения авторского права, но ведь нейросеть создает новые произведения, и доказать авторское право на “Стиль” будет очень сложно. Ранее в мировой судебной практике таких прецедентов не было. Можно запатентовать работу или персонажа, но нельзя запатентовать авторский стиль или “неуловимую атмосферу” работы.
Сегодня существуют уже сотни моделей и бесчисленное количество смешанных моделей на их основе, а ведь это только заря эпохи Stable Diffusion.
Критика Stable Diffusion
Появление такого мощного инструмента, который в корне меняет правила игры на рынке искусства, геймдева и в смежных отраслях, не могло обойтись без критики.
Когда сотни, тысячи, а возможно и миллионы арт работ, сгенерированные нейросетями, начали появляться на ресурсах для художников, они забили тревогу. Многие начали переживать из-за своих доходов, ведь как и в 19 веке паровая машина обесценивает ручной труд, нейросети сегодня обесценивают работу художников. Появились десятки петиций с требованием запретить этот открытый инструмент, потому что по мнению художников, если нейросеть обучилась на их работах, то она украла их труд.
Но подобные обвинения будет трудно доказать в суде, ведь работы художников не были украдены, изменены и проданы. Нейросети просто учились, воспринимая искусство, которое было в открытом доступе, также, как, например, учится любой художник, просматривая работы мастеров ренессанса, интерпретируя их творчество, технику.
Художники на таких площадках как DeviantArt, Artstation и других требуют регулирования работ нейрохудожников. И кое-где, площадки идут им навстречу.
Существует несколько подходов в регулировании публикации работ созданных нейросетями.
• Публикация работ на общем основании, когда не делается разницы для художников и нейрохудожников.
• Обязательное тегирование работ, созданных при помощи искусственного интеллекта, часто с возможностью скрывать их в своей поисковой выдаче.
• Полный запрет публикации нейроартов. Некоторые галереи пошли на такой шаг под давлением сообщества.
Но, как представляется, это временные меры. Ведь с развитием искусственного интеллекта нейроарт станет неотличим от работ живых художников и любое разделение станет условным. А как быть с работами художников, которые частично рисуют, а частично используют работу нейросети в своей композиции?
Реальное применение нейросетей в работе, бизнесе и в успешных проектах.
Создание картинок на площадках для художников - это скорее развлечение. Но существуют ли кейсы реального применения Stable Diffusion в крупных коммерческих проектах?
Создание текстур.
Уже сейчас существуют плагины для Blender, которые позволяют генерировать бесшовные текстуры для 3D ассетов. Генерация сотен уникальных текстур по описанию позволяет создавать действительно уникальный контент в 3D моделировании. Уже появляются плагины на Stable Diffusion, позволяющие создавать карты глубин и другие слои. В перспективе генерация текстур может полностью лечь на плечи искусственного интеллекта.
Создание концептов персонажей.
Еще год назад концептхудожники использовали Art Breeder для создания лиц в своих концептработах. Сегодня возможно создать сотни вариантов персонажа за один день и выбрать подходящий для дальнейшей работы.
Stable Diffusion как идеальный инструмент для создания NFT
Сегодня при помощи нейросети Stable Diffusion можно создавать неограниченное количество вариаций изображения по заданным параметрам. Это идеально подходит для генерации NFT коллекций. Этот инструмент уже активно используется создателями NFT.
Что нас ждёт в будущем?
Уже сегодня на основе Stable Diffusion создаётся огромное количество инструментов, позволяющих сделать то, что еще недавно считалось невозможным. Нас ждет мир расцвета цифрового искусства, когда рисунки, 3D модели, видео и даже код можно будет создавать при помощи нейронных сетей. Это изменит подход к созданию контента, откроет новые горизонты визуального искусства. Мы стоим на заре революции. И эта революция начинается сегодня!
