>>>Работа! Продавайте контент на сайте Vinegret! Узнай как!<<< ||| >>>Хочешь иметь свою мобильную версию сайта в Play Market? Узнай как!<<<
Взгляните на то, как учёные управляют роботом, надев для этого Apple Vision Pro.

Взгляните на то, как учёные управляют роботом, надев для этого Apple Vision Pro.

6 мин


1

Учёные разработали приложение для гарнитуры смешанной реальности Apple Vision Pro, которое позволяет пользователям управлять роботом, используя для этого лишь жесты головы и рук. Его можно использовать для удалённого управления машинами в разных сценариях — от розыгрышей до навигации в зоне бедствия.

Приложение под названием «Tracking Streamer» отслеживает движения человека — в частности, движения головы, запястья и пальцев — и передаёт эти данные через соединение Wi-Fi находящемуся в той же сети роботу. Затем подключённый робот преобразует данные в соответствующие движения.

Взгляните на то, как учёные управляют роботом, надев для этого Apple Vision Pro.
Приложение под названием «Tracking Streamer» отслеживает движения человека — в частности, движение головы, запястья и пальцев — и передает эти данные через соединение Wi-Fi роботу в той же сети. Изображение: Younghyo Park via X

Исследователи опубликовали свою работу в короткой статье, опубликованной 9 марта на Github — репозитории с открытым исходным кодом. Их система отслеживает 26 точек на руках и запястьях, а также отдельные точки на голове. Она также записывает пространственные данные — например, насколько высоко вы находитесь от земли.

Разработчик приложения Пак Ёнхё (Younghyo Park), докторант Массачусетского технологического института, опубликовал на сайте X, ранее известном как Twitter, видео, показывающее систему в действии.

В коротком видеоролике соавтор исследования Гейб Марголис (Gabe Margolis), аспирант Массачусетского технологического института, управляет четвероногим роботом, используя руки и движения тела.

В видео Марголис жестами даёт команду роботу подойти к закрытой двери, повернуть ручку своим захватом и войти. В другом эпизоде он жестом просит робота поднять пластиковую крышку мусорного бака и бросить её в мусор. В какой-то момент он также наклоняется, что заставляет робота ему подражать.

Apple запустила в продажу гарнитуру виртуальной реальности (VR) Vision Pro в феврале 2024 года, с тех самых пор в Интернете стали появляться кадры, на которых люди носят это устройство в своей повседневной жизни. Незадолго до запуска учёные опубликовали исследование, в котором изучалось, насколько хорошо работают VR-гарнитуры, если вы используете их в повседневной жизни.

Они обнаружили, что устройства имеют задержку, отключают периферийное зрение и вызывают искажения, похожие на те, которые можна наблюдать в комнатах смеха с кривыми зеркалами. Они предостерегают от ношения VR-гарнитур во время вождения или спуска по лестнице.

В своей статье Парк и Марголис предположили, что некоторые пользователи могут носить Apple Vision Pro постоянно, как очки, и что дальнейшее использование предоставит больше данных, которые можно будет использовать для обучения роботов тому, как двигаются люди.

Правописание уведомления вебмастера


Понравилось? Поделитесь с друзьями!

1
Включить уведомления Да Спасибо, не надо