Yandex Metrika
0
1 репост

Исследовательская группа из Университета Мэриленда разработала метод, основанный на искусственном интеллекте (ИИ), позволяющий реконструировать сложные сцены и объекты в 3D, используя только отражения в глазах человека.

«Отражающая природа человеческого глаза — недооценённый источник информации о том, как выглядит мир вокруг нас. Создавая изображения глаз движущегося человека, мы можем получить несколько видов сцены за пределами прямой видимости камеры через отражения в глазах», — объясняют исследователи.

Восстановление трехмерной сцены с использованием отражений в глазах имеет две основные проблемы. Исследователи объясняют, что точное определение положения глаза человека представляет сложность, что затрудняет восстановление сцены на основе отражения. Кроме того, глаз человека и текстура радужки взаимодействуют сложным образом с отражениями на поверхности глаза. Основная текстура глаза может значительно влиять на внешний вид отражений.

«Геометрия роговицы примерно одинакова у всех здоровых взрослых людей. Исходя из этого факта, если мы учтём размер пикселя роговицы на изображении, мы сможем точно определить положение глаз. Используя эту информацию, мы настроили поле излучения на отражения глаз, сняв лучи с камеры и отразив их от аппроксимированной геометрии глаза. Чтобы радужная оболочка не отображалась при реконструкции, мы выполнили декомпозицию текстуры путём одновременного обучения двумерной текстурной карты, которая изучает текстуру радужной оболочки», — пишут исследователи.

Как сообщает Gizmodo, новое исследование, проведённое Хади Альзайером (Hadi Alzayer), Кевином Чжаном (Kevin Zhang), Брэндоном Фэном (Brandon Feng), Кристофером Метцлером (Christopher Metzler) и Цзя-Бин Хуангом (Jia-Bin Huang), основано на предыдущих исследованиях технологии поля нейронного излучения (neural radiance field, или NeRF). NeRF может создавать новые виды 3D-сцены, используя входные 2D-данные.

В случае реконструкции 3D-сцены с использованием отражений глаз исследователям пришлось преодолеть множество проблем, в том числе найти способ компенсировать текстуру радужной оболочки и положение роговицы. Для этого команда разработала приблизительную текстуру глаза и способ преобразования формы отражения на типичной роговице в типичную естественную перспективу. С этой целью исследователи также опирались на предыдущие обширные исследования геометрии человеческого глаза.

В реальных экспериментах команда успешно реконструировала комнату в 3D, используя отражения глаз. И хотя результаты не отличаются чрезмерно высоким разрешением, они действительно впечатляют.

Команда объясняет, что стандартные методы NeRF недостаточно эффективны из-за шума, присущего локализации роговицы, сложности текстур радужки и низкого разрешения маленьких отражений. Чтобы преодолеть эти препятствия, во время процесса обучения учёные представили новые методы оптимизации положения роговицы и декомпозиции текстуры радужки. Этот метод также позволил улучшить реконструкцию сцены при движении головы человека, что является уникальным свойством, поскольку другие методы NeRF используют движущуюся камеру, а не движущийся объект. Когда испытуемые поворачивали голову из стороны в сторону, дополнительные данные в последующих снимках улучшали результаты.

«С помощью этой работы мы надеемся вдохновить на будущие исследования, которые будут использовать неожиданные, случайные визуальные сигналы для раскрытия информации об окружающем нас мире, расширяя горизонты реконструкции 3D-сцен», — сказали в заключении авторы исследования.
Заметили ошибку в тексте? Выделите её мышкой и нажмите Ctrl + Enter

Следите за нашими новостями:


Понравилось? Поделитесь с друзьями!

✏️ Сообщить об ошибке

Вы заметили ошибку в следующем тексте: