Обычно робот получает команду и преобразует её в последовательность действий. Dynin-Robotics объединяет в одной модели язык, изображения, видео и управление движениями. Получив указание и картинку с камеры, система может предсказать следующий кадр — или сразу представить конечную сцену после успешного выполнения задания — и использовать этот образ при выборе действий.
В экспериментах роботы переносили фрукты, сортировали кубики по цветам и складывали их в заданной последовательности. Средняя успешность в четырёх реальных тестах составила 78,4% — немного выше показателей моделей NVIDIA и Physical Intelligence, использованных исследователями для сравнения.
Есть и более занятная проверка. Модель учили понимать не только прямые команды вроде «поставь розу», но и смысловые: например, просьбу выбрать цветок, символизирующий любовь. Совместное обучение пониманию задачи, прогнозированию результата и действию помогло лучше справляться с новыми формулировками.
Пока всё это проверено в контролируемых экспериментальных условиях. Для складов, производств и тем более медицинских роботов систему ещё предстоит испытать на гораздо более разнообразных задачах.
Но принцип выглядит почти по-человечески: сначала представить, что должно получиться. А потом уже решать, стоит ли вообще за это браться.
