Исследовательская группа из Университета Мэриленда разработала метод, основанный на искусственном интеллекте (ИИ), позволяющий реконструировать сложные сцены и объекты в 3D, используя только отражения в глазах человека.
Восстановление трехмерной сцены с использованием отражений в глазах имеет две основные проблемы. Исследователи объясняют, что точное определение положения глаза человека представляет сложность, что затрудняет восстановление сцены на основе отражения. Кроме того, глаз человека и текстура радужки взаимодействуют сложным образом с отражениями на поверхности глаза. Основная текстура глаза может значительно влиять на внешний вид отражений.
Как сообщает Gizmodo, новое исследование, проведённое Хади Альзайером (Hadi Alzayer), Кевином Чжаном (Kevin Zhang), Брэндоном Фэном (Brandon Feng), Кристофером Метцлером (Christopher Metzler) и Цзя-Бин Хуангом (Jia-Bin Huang), основано на предыдущих исследованиях технологии поля нейронного излучения (neural radiance field, или NeRF). NeRF может создавать новые виды 3D-сцены, используя входные 2D-данные.
В случае реконструкции 3D-сцены с использованием отражений глаз исследователям пришлось преодолеть множество проблем, в том числе найти способ компенсировать текстуру радужной оболочки и положение роговицы. Для этого команда разработала приблизительную текстуру глаза и способ преобразования формы отражения на типичной роговице в типичную естественную перспективу. С этой целью исследователи также опирались на предыдущие обширные исследования геометрии человеческого глаза.
В реальных экспериментах команда успешно реконструировала комнату в 3D, используя отражения глаз. И хотя результаты не отличаются чрезмерно высоким разрешением, они действительно впечатляют.
Команда объясняет, что стандартные методы NeRF недостаточно эффективны из-за шума, присущего локализации роговицы, сложности текстур радужки и низкого разрешения маленьких отражений. Чтобы преодолеть эти препятствия, во время процесса обучения учёные представили новые методы оптимизации положения роговицы и декомпозиции текстуры радужки. Этот метод также позволил улучшить реконструкцию сцены при движении головы человека, что является уникальным свойством, поскольку другие методы NeRF используют движущуюся камеру, а не движущийся объект. Когда испытуемые поворачивали голову из стороны в сторону, дополнительные данные в последующих снимках улучшали результаты.



