Сбер научил ИИ законам физики: Kandinsky поможет роботам и беспилотникам

Новые нейросети генерируют редкие и опасные сценарии, которые сложно воспроизвести в реальности Сбер представил семейство генеративных моделей Kandinsky WM 1.0, предназначенных для создания видеоданных, соответствующих законам физики. Разработка ориентирована на обучение систем Physical AI, включая беспилотный транспорт, промышленных роботов и другие автономные решения. Изображение сгенерировано нейросетью ChatGPT В основу легла модель Kandinsky 5.0 Video Lite, дополнительно обученная на миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов.

Это позволяет генерировать реалистичные ролики с редкими, опасными или трудно воспроизводимыми ситуациями, которые сложно получить в реальных условиях. Такие синтетические данные помогают ускорить обучение интеллектуальных систем и снизить затраты на сбор информации. Создаваемые видео длительностью около пяти секунд воспроизводят отдельные действия — от манипуляций с предметами до дорожных эпизодов и производственных операций.

Для повышения достоверности разработчики использовали дополнительное обучение и методы обучения с подкреплением, что улучшило передачу движения, геометрии объектов и физических взаимодействий. Код и веса моделей опубликованы по лицензии MIT и доступны разработчикам бесплатно. Kandinsky WM 1.0 уже используют Центр робототехники Сбера и институт AIRI для подготовки роботов и развития дорожных симуляторов.