Kandinsky 3D: нейросеть Сбера для генерации трехмерных моделей по тексту и изображению

Что такое Kandinsky 3D и чем она отличается от других нейросетей Сбера

Kandinsky 3D — это генеративная модель, разработанная лабораторией Sber AI, которая создает трехмерные объекты по текстовому описанию или на основе изображения. Это первый российский сервис такого рода, открытый для широкого тестирования. В отличие от классического Kandinsky, который генерирует плоские картинки, анимацию и видео, Kandinsky 3D работает с объемной геометрией и текстурами.

Модель построена на архитектуре диффузионных трансформеров (DiT) и использует современные подходы, включая Flow Matching. Это позволяет ей создавать не просто «картинку в 3D-стиле», а полноценный трехмерный ассет, который можно экспортировать в форматах FBX, STL и других, а затем использовать в игровых движках, САПР или для 3D-печати.

Ключевое отличие Kandinsky 3D от предыдущих версий — разделение процесса генерации на два этапа: сначала создается геометрия объекта, затем накладываются PBR-текстуры. Такой подход повторяет работу профессионального 3D-художника и позволяет контролировать каждый этап отдельно.

Как устроена Kandinsky 3D: архитектура и принципы работы

В основе Kandinsky 3D лежит двухэтапный пайплайн. На первом этапе геометрический генератор создает объемную форму объекта. Для этого используется вариационный автокодировщик (VAE), который сжимает геометрию в латентное пространство меньшей размерности. Затем трансформерный денойзер пошагово восстанавливает структуру объекта из случайного шума, а декодер преобразует латентное представление в полноценную 3D-геометрию.

На втором этапе текстурная модель накладывает фотореалистичные PBR-текстуры на готовую геометрию. Для этого геометрическая заготовка рендерится с разных ракурсов и подается на вход дообученной 2D-диффузионной модели, которая сохраняет визуальную согласованность между всеми ракурсами и соответствует исходному запросу или изображению.

Такое разделение дает пользователю возможность перезапускать отдельные этапы генерации, добиваясь более предсказуемых результатов. Например, если геометрия получилась удачной, но текстура не понравилась, можно перегенерировать только текстуру, не трогая форму.

Что умеет Kandinsky 3D: основные возможности

Kandinsky 3D позволяет создавать 3D-модели двумя способами: по текстовому описанию или по изображению. В первом случае достаточно написать промпт, например, «деревянный стул в стиле ар-деко», и модель сгенерирует объемный объект. Во втором случае можно загрузить фотографию или иллюстрацию, и нейросеть создаст трехмерную версию изображенного объекта.

Модель поддерживает генерацию объектов с правильной квадратизированной сеткой, что важно для использования в игровых движках. Результаты экспортируются в формате FBX с текстурой, а также в STL для 3D-печати. Это делает Kandinsky 3D универсальным инструментом для разных задач — от создания игровых пропсов до прототипирования в промышленном дизайне.

Важно отметить, что Kandinsky 3D — это не просто генератор «красивых картинок», а полноценный инструмент для производства 3D-контента. Модель понимает русский и английский языки, что расширяет аудиторию пользователей.

Кому пригодится Kandinsky 3D: сценарии использования

Основные сценарии применения Kandinsky 3D — геймдев, концепт-арт, 3D-печать и работа с САПР. В игровой индустрии модель позволяет быстро создавать пропсы — элементы окружения, такие как деревья, камни, мебель, оружие. Это особенно ценно для инди-студий и мобильных команд, где ресурсы ограничены. Разработчики могут генерировать объекты прямо в движке через API, например, для пользовательского контента (UGC).

Для 3D-печати Kandinsky 3D подходит в случаях, когда не требуется высокая точность, например, для декоративных фигурок. Модель генерирует текстурированные объекты, поэтому можно печатать полноцветные изделия методом порошковой печати или наносить текстуру поверх заготовки. Для инженерных задач модель можно использовать как быстрый способ прототипирования концептов, а затем оптимизировать их в САПР.

Также Kandinsky 3D полезна для генерации NPC-персонажей для последующего риггинга. Достаточно добавить в промпт фразу «full body view, center, character sheet, character in t-pose, front view», чтобы получить модель в удобной для анимации позе.

Как пользоваться Kandinsky 3D: пошаговая инструкция

Попробовать Kandinsky 3D можно двумя способами. Первый — через портал developers.sber.ru, где достаточно ввести промпт и нажать «Создать». Второй — через GigaChat API, что требует получения токена доступа на том же портале разработчика.

Для генерации по тексту рекомендуется давать детальные описания стиля. Например, промпт «A cartoonish and humorous model of an angry android. Bright colors, exaggerated expressions, comic-style lines and motion effects, lighthearted and funny mood» создаст мультяшного робота. Если модель получается излишне плоской, можно добавить в конец промпта фразу «is volumetric».

При генерации по изображению важно, чтобы исходное фото было сделано во фронтальной плоскости с легким возвышением камеры. Поле зрения и угол съемки не должны быть экстремальными — например, снимки на fisheye-объектив или сверху могут исказить пропорции модели. В среднем генерация одной модели занимает около 40 секунд с учетом экспорта.

Форматы экспорта и интеграция с другими инструментами

Kandinsky 3D поддерживает экспорт в форматы FBX и STL. FBX — это стандартный формат для игровых движков, таких как Unity и Unreal Engine, а также для программ 3D-моделирования вроде Blender и Maya. STL используется для 3D-печати и работы в САПР.

Для интеграции в игровой движок можно использовать API Kandinsky 3D, что позволяет генерировать объекты прямо в процессе разработки. Это удобно для создания пользовательского контента или динамического наполнения игровых миров.

Для работы в САПР рекомендуется следующий воркфлоу: сгенерировать модель в Kandinsky 3D, экспортировать в FBX, затем конвертировать в STL, импортировать в САПР и запустить тулбокс для аппроксимации поверхностей. После ручной правки неточностей модель можно оптимизировать, установив допуски в точках крепления и пересчитав прочность.

Сравнение Kandinsky 3D с другими генеративными 3D-моделями

На рынке существует несколько зарубежных аналогов Kandinsky 3D, таких как Tripo, CSM, Rodin, Meshy, а также решения от Tencent, Microsoft и Google (например, Hunyuan3D и Trellis). Многие из них также используют диффузионные трансформеры и поддерживают генерацию по тексту и изображению.

Главное преимущество Kandinsky 3D — доступность для российских пользователей без необходимости обходить блокировки и платить в валюте. Кроме того, модель интегрирована с экосистемой Сбера, что упрощает использование через GigaChat API.

По качеству генерации Kandinsky 3D пока может уступать некоторым зарубежным аналогам в сложных сценах, но она активно развивается. Важно отметить, что Kandinsky 3D — это не замена профессиональным 3D-инструментам, а скорее ускоритель рутинных задач, который позволяет быстро создавать черновые варианты и концепты.

Ограничения и особенности Kandinsky 3D

Как и любая генеративная модель, Kandinsky 3D имеет ограничения. Она не способна создавать граничные представления (B-rep) или деревья построения, которые используются в профессиональных САПР. Поэтому для точного инженерного моделирования модель не подходит — только для концептов и прототипов.

При генерации по изображению важно соблюдать требования к исходному фото: фронтальная плоскость, умеренный угол съемки. Нарушение этих условий приводит к искажению пропорций. Также модель может «галлюцинировать» — создавать лишние детали или неправильно интерпретировать сложные запросы.

Для 3D-печати с высокой детализацией рекомендуется генерировать модели с большим количеством полигонов, чем для геймдева. Это увеличивает время генерации, но улучшает качество печати. Также стоит помнить, что Kandinsky 3D генерирует текстурированные модели, что открывает возможности для полноцветной печати.

Практические советы по созданию промптов для Kandinsky 3D

Чтобы получить качественный результат, важно правильно составлять промпты. Начните с описания объекта, затем добавьте стиль, материалы и детали. Например: «Стул деревянный. Realistic, PBR, Artstation, realism, detailed, redshift» — такой запрос создаст реалистичный стул с PBR-текстурами.

Используйте прямые отсылки к стилям и художникам, но избегайте метафор. Если нужен мультяшный стиль, укажите «cartoonish», «bright colors», «exaggerated expressions». Для фотореализма — «photorealistic», «8k», «detailed». Для игровых персонажей добавьте «character sheet», «t-pose», «front view».

Если модель получается плоской, добавьте «is volumetric». Если нужно несколько объектов, перечислите их через запятую. Негативные промпты в Kandinsky 3D не поддерживаются, поэтому лучше сразу точно формулировать запрос. Также полезно подсматривать чужие промпты в сообществах и на форумах — это помогает понять логику модели.

Перспективы развития Kandinsky 3D и влияние на индустрию

Kandinsky 3D — это важный шаг в развитии отечественных генеративных технологий. Модель открывает доступ к созданию 3D-контента для широкой аудитории, что раньше требовало глубоких знаний в 3D-моделировании. Это может существенно ускорить производство игр, анимации и прототипов.

В будущем можно ожидать улучшения качества генерации, поддержки более сложных сцен и интеграции с другими сервисами Сбера. Также вероятно появление версий, способных генерировать анимированные 3D-модели или работать с видео.

Для индустрии это означает снижение порога входа в 3D-дизайн и возможность быстрого прототипирования идей. Однако важно помнить, что ИИ не заменит профессиональных художников и инженеров, а станет инструментом, который освободит время для творческих задач.

Вопросы и ответы