Будущие смарт-очки могут заменить оптические камеры на сонар, использующий звук для отслеживания движений своего владельца, согласно новому исследованию. Технология на основе сонара может повысить точность и конфиденциальность, а также сделать производство таких очков более дешёвым.
Учёные из Корнельского университета (США) создали технологию, получившую название «PoseSonic». Она сочетает в себе микросонар на базе технологии CHIRP — миниатюрной версии той же технологии, которая используется для картографирования океанов или отслеживания подводных лодок, — с искусственным интеллектом (ИИ) для создания точного изображения профиля пользователя. Микросонар улавливает звуковые волны, которые слишком тихи для человеческого слуха. Создатели технологии опубликовали своё исследование 27 сентября в журнале ACM Digital Library.

«Мы считаем, что наша технология обладает огромным потенциалом в качестве будущего сенсорного решения для носимых устройств, особенно когда носимые устройства используются в повседневной жизни, — сказал соавтор исследования Чен Чжан (Cheng Zhang), доцент Корнельского университета и директор лаборатории интеллектуальных компьютерных интерфейсов для будущих взаимодействий (SciFi). — Она обладает уникальными преимуществами по сравнению с текущими камерными сенсорными решениями», — сказал Чжан в электронном письме Live Science.
Представленные в настоящее время на рынке умные очки дополненной реальности (AR), такие как Ray-Ban Stories от Meta, используют камеры для отслеживания владельца наряду с беспроводными технологиями, такими как Bluetooth, Wi-Fi и GPS. Но непрерывное видео быстро разряжает батарею и может представлять угрозу конфиденциальности. Однако акустическое отслеживание дешевле, эффективнее, ненавязчивее и обеспечивает конфиденциальность, сказал Чжан.
PoseSonic использует микрофоны и динамики, оснащённые микропроцессором, модулем Bluetooth, аккумулятором и датчиками. Исследователи создали рабочий прототип менее чем за 40 долларов — и эта стоимость, вероятно, может быть снижена ещё больше, если производить гаджет в больших масштабах. Злополучный Google Glass, напротив, по данным IEEE, стоил 152 доллара, но это было ещё 10 лет назад.
Динамики PoseSonic отражают не слышные человеку звуковые волны от тела обратно к микрофонам, что помогает микропроцессору генерировать изображение профиля. Оно передаётся в искусственную нейронную сеть, которая оценивает трёхмерные положения девяти суставов тела, включая плечи, локти, запястья, бёдра и нос. Алгоритм обучается с использованием видеокадров в качестве эталона, что означает, что, в отличие от других подобных систем для носимых устройств, он может работать с любым пользователем, не требуя предварительного обучения на конкретном человеке.
Поскольку аудиооборудование потребляет меньше энергии, чем камеры, PoseSonic может непрерывно работать на смарт-очках более 20 часов, сказал Чжан, при этом будущая версия технологии может быть интегрирована в носимое устройство с поддержкой AR, не будучи неудобной или слишком громоздкой.
По мнению исследователей, гидросонар также лучше обеспечивает конфиденциальность, чем использование камер, поскольку алгоритм обрабатывает только звуковые волны, которые он производит сам, для создания 3D-изображения, вместо использования других звуков или захвата изображений. Эти данные могут обрабатываться локально на смартфоне пользователя, а не отправляться на общедоступный облачный сервер, что означает, что перехваченные изменения данных исключаются.
Чжан предложил два сценария, в которых акустическое отслеживание в умных очках могло бы принести практическую пользу, включая распознавание движений верхней части тела в повседневной жизни, таких как приём пищи, питьё или курение, и отслеживание движений владельца во время тренировки. Будущие поколения этой технологии могли бы помочь пользователям отслеживать своё поведение и обеспечивать более подробную обратную связь, выходящую за рамки количества шагов или потреблённых калорий, вплоть до оценки того, как движется тело во время физической активности.



