Вскоре гуманоидные роботы смогут двигаться гораздо более естественно — и даже танцевать, как люди — благодаря новой программной системе, отслеживающей движения человека.
Эту технологию, получившую название ExBody2, разработали исследователи из Калифорнийского университета в Сан-Диего, Калифорнийского университета в Беркли, Массачусетского технологического института (MIT) и Nvidia. Она позволяет роботам копировать реалистичные движения, анализируя детализированные сканы и захваченные движения людей.
Ученые надеются, что благодаря этому гуманоидные роботы смогут выполнять гораздо больше задач, имитируя человеческие движения с высокой точностью. Например, такая технология поможет роботам в профессиях, требующих аккуратных движений, — будь то работа с полками в магазинах или перемещение вблизи людей и других машин без столкновений.
Как работает ExBody2
ExBody2 использует данные, полученные с помощью захвата движения (motion capture), и переводит их в команды, которые робот может воспроизвести. Это позволяет ему выполнять сложные движения и делать их более плавными, уменьшая скованность движений. Кроме того, технология помогает роботам адаптироваться к разным задачам без необходимости длительного переобучения.
Обучение происходит методом подкрепления — это направление машинного обучения, в котором робот получает большое количество данных и учится выбирать оптимальные действия. Исследователи присваивают положительные или отрицательные оценки разным вариантам движений, чтобы «поощрять» модель за точное копирование движений без потери устойчивости.
Также ExBody2 позволяет анализировать короткие видеозаписи движений, например, нескольких секунд танца, и синтезировать на их основе дополнительные кадры. Это дает роботам возможность выполнять более продолжительные движения.
Танцы с роботами
На опубликованном в YouTube видео можно увидеть, как робот, обученный с помощью ExBody2, танцует, тренируется и даже спаррингует с человеком. Также он в режиме реального времени повторяет движения исследователя благодаря дополнительному алгоритму HybrIK, который разработала группа Machine Vision and Intelligence Group при Шанхайском транспортном университете.
Пока что ExBody2 в основном фокусируется на движениях верхней части тела. В опубликованной 17 декабря 2024 года на сервере ArXiv научной работе исследователи объясняют, что избыточные движения нижней части робота могут приводить к потере устойчивости.
«Слишком простые задачи ограничивают способность модели адаптироваться к новым условиям, а слишком сложные могут превысить физические возможности робота, что приводит к неэффективному обучению», — пишут авторы работы.
Поэтому в подготовленном ими наборе данных либо исключены, либо модифицированы сложные движения ног, которые робот пока не может выполнять.
В базе данных ExBody2 собрано более 2800 движений, из которых 1919 взяты из AMASS (Archive of Motion Capture As Surface Shapes) — крупнейшего датасета с человеческими движениями, содержащего 11 тысяч различных движений и более 40 часов детализированных записей. Этот массив данных используется для обучения нейросетей, чтобы они могли распознавать и воспроизводить сложные паттерны движений.
Доказав, что ExBody2 позволяет роботам двигаться максимально реалистично, ученые теперь сосредоточатся на автоматизации сбора данных. Это позволит в будущем отказаться от ручного отбора подходящих движений и упростит процесс обучения.



