Учёные создали наушники с шумоподавлением, которые в режиме реального времени, благодаря алгоритму глубокого обучения искусственного интеллекта (ИИ), отфильтровывают определённые типы звуков — такие, как щебетание птиц или гудки автомобилей.
Система, которую исследователи из Вашингтонского университета назвали «семантическим слухом», передаёт все звуки, записанные наушниками, на смартфон, который затем отменяет все звуки, прежде чем пользователь выберет конкретные типы звуков, которые он хочет слышать. Они описали прототип в статье, опубликованной 29 октября в журнале IACM Digital Library.
Как только звуки передаются в приложение, алгоритм глубокого обучения, встроенный в программное обеспечение, позволяет пользователям использовать голосовые команды или само приложение для выбора между 20 разрешенными категориями звука. К ним, например, относятся сирены, детский плач, пылесосы и пение птиц. Согласно статье, они выбрали эти 20 категорий, потому что посчитали, что люди могут различать их с достаточной точностью. Временная же задержка всего этого процесса составляет менее одной сотой секунды.
«Представьте, что вы можете слушать щебетание птиц в парке, не слыша болтовни других туристов, или быть в состоянии перекрыть шум дорожного движения на оживлённой улице, всё ещё будучи в состоянии слышать аварийные сирены и гудки автомобилей, или быть в состоянии слышать сигнал тревоги в спальне, но не шум уличного движения», — рассказал в электронном письме Live Science Шьям Голлакота (Shyam Gollakota), доцент кафедры компьютерных наук и инженерии в Университете Вашингтона.
Глубокое обучение — это форма машинного обучения, при которой система обучается на данных таким образом, чтобы имитировать процесс обучения человеческого мозга.
По словам Голлакоты, разработать алгоритм глубокого обучения было непросто, потому что ему нужно было понимать различные звуки в окружающей среде, отделять целевые звуки от мешающих и сохранять направляющие сигналы для целевого звука. Алгоритму также требовалось, чтобы все это происходило всего за несколько миллисекунд, чтобы не вызывать задержек для пользователя.
Его команда сначала использовала записи из AudioSet, широко используемой базы звуковых записей, и объединила это с дополнительными данными из четырёх отдельных баз звуковых данных. Команда пометила эти записи вручную, а затем объединила их для обучения своей первой нейронной сети.
Однако эта нейронная сеть была обучена только на примерах записей, а не на реальном звуке, который более запутан и сложнее поддаётся обработке. Поэтому команда специалистов создала вторую нейронную сеть для обобщения алгоритма, которую они в конечном итоге и внедрили. Это включало в себя более 40 часов фонового окружающего шума, общих звуков, с которыми вы сталкиваетесь в помещениях и на улице, а также записей, сделанных более чем 45 людьми с различными микрофонами.
Они использовали комбинацию двух наборов данных для обучения второй нейронной сети, чтобы она могла различать целевые категории звука в реальном мире, независимо от того, какие наушники носит пользователь или от формы его головы. Различия, даже незначительные, могут повлиять на то, как наушники воспринимают звук.
Исследователи планируют коммерциализировать эту технологию в будущем и найти способ создания наушников, оснащённых программным и аппаратным обеспечением для выполнения обработки данных искусственным интеллектом на устройстве.
«Семантический слух — это первый шаг к созданию интеллектуальных аудиоустройств, способных расширять возможности человека за счёт улучшенного или даже сверхъестественного слуха, — продолжил Голлакота, что, вероятно, означает усиление тихих звуков или предоставление пользователям возможности слышать ранее неслышимые частоты. — Мы можем наблюдать, что в отрасли создаются специальные микросхемы, предназначенные для глубокого обучения, которые интегрируются в носимые устройства. Так что очень вероятно, что подобная технология будет встроена в гарнитуры и наушники, которые мы используем.»
