Сбер представил новую версию модели Kandinsky

Улучшенная модель генерации изображений по текстовому описанию будет доступна всем пользователям без ограничений в ближайшее время.

Сбер усовершенствовал свою нейросеть, которая создает изображения по текстовому описанию на русском и английском языках. Обновленная версия Kandinsky 3.1 дообучена на увеличенном датасете изображений, что позволило повысить качество генераций. Первым доступ к Kandinsky 3.1 получил ограниченный круг пользователей: художники, дизайнеры, блогеры.

 «Сегодня ровно год, как вышла версия Kandinsky 2.1. За это время мы постоянно развивали нашу нейросеть, которая помогает людям создавать новые образы и дает абсолютно каждому феноменальные возможности для творчества, - рассказывает Александр Ведяхин, первый заместитель Председателя Правления Сбербанка. - По сравнению с предыдущей моделью, Kandinsky 3.1 стал ещё быстрее, удобнее и реалистичнее. Kandinsky 3.1 — это гибкий, многофункциональный и абсолютно бесплатный инструмент, который превратит любого человека в художника и творца. Скоро все желающие смогут протестировать новые возможности нейросети. Как и предыдущие версии, модель будет бесплатной и доступна на разных поверхностях».

Одной из ключевых особенностей версии стала более высокая скорость генерации картинок: время одной генерации сократилось почти в 10 раз, а разрешение генераций можно повысить до 4K. Также появилась возможность улучшения текстового запроса с помощью языковой модели. Пользователям снова будут доступны функции создания различных вариаций изображений, смешивание картинок и текста, создание стикерпаков и возможность вносить локальные изменения на картинке, не меняя всей композиции сцены (ControlNet).

Узнать технические детали о модели, подходах к обучению и посмотреть примеры генераций можно в статье на «Хабре».

Также в ближайшее время появится новая модель Kandinsky Video 1.1 для генерации видео по текстовым описаниям. Нашей команде удалось существенно повысить качество генераций за счет увеличения объема обучающего датасета пар «текст-видео» и архитектурных улучшений модели. Внесенные изменения также позволили повысить разрешение видео в два раза по сравнению с Kandinsky Video 1.0.

Модель разработана командой Sber AI при партнерской поддержке ученых из Института искусственного интеллекта AIRI на объединенных датасетах Sber AI и компании SberDevices.