Учёные разработали приложение для гарнитуры смешанной реальности Apple Vision Pro, которое позволяет пользователям управлять роботом, используя для этого лишь жесты головы и рук. Его можно использовать для удалённого управления машинами в разных сценариях — от розыгрышей до навигации в зоне бедствия.
Приложение под названием «Tracking Streamer» отслеживает движения человека — в частности, движения головы, запястья и пальцев — и передаёт эти данные через соединение Wi-Fi находящемуся в той же сети роботу. Затем подключённый робот преобразует данные в соответствующие движения.
Исследователи опубликовали свою работу в короткой статье, опубликованной 9 марта на Github — репозитории с открытым исходным кодом. Их система отслеживает 26 точек на руках и запястьях, а также отдельные точки на голове. Она также записывает пространственные данные — например, насколько высоко вы находитесь от земли.
Разработчик приложения Пак Ёнхё (Younghyo Park), докторант Массачусетского технологического института, опубликовал на сайте X, ранее известном как Twitter, видео, показывающее систему в действии.
В коротком видеоролике соавтор исследования Гейб Марголис (Gabe Margolis), аспирант Массачусетского технологического института, управляет четвероногим роботом, используя руки и движения тела.
🥽 Want to use your new Apple Vision Pro to control your robot? Want to record how you navigate / manipulate the world to train a policy?
I developed an app for VisionOS that can stream your head / wrist / finger movements over WiFi, which you can subscribe on any machines using… pic.twitter.com/l5CbeINWWf
— Younghyo Park (@younghyo_park) March 9, 2024
В видео Марголис жестами даёт команду роботу подойти к закрытой двери, повернуть ручку своим захватом и войти. В другом эпизоде он жестом просит робота поднять пластиковую крышку мусорного бака и бросить её в мусор. В какой-то момент он также наклоняется, что заставляет робота ему подражать.
Apple запустила в продажу гарнитуру виртуальной реальности (VR) Vision Pro в феврале 2024 года, с тех самых пор в Интернете стали появляться кадры, на которых люди носят это устройство в своей повседневной жизни. Незадолго до запуска учёные опубликовали исследование, в котором изучалось, насколько хорошо работают VR-гарнитуры, если вы используете их в повседневной жизни.
Они обнаружили, что устройства имеют задержку, отключают периферийное зрение и вызывают искажения, похожие на те, которые можна наблюдать в комнатах смеха с кривыми зеркалами. Они предостерегают от ношения VR-гарнитур во время вождения или спуска по лестнице.
В своей статье Парк и Марголис предположили, что некоторые пользователи могут носить Apple Vision Pro постоянно, как очки, и что дальнейшее использование предоставит больше данных, которые можно будет использовать для обучения роботов тому, как двигаются люди.
