Команда специалистов по компьютерному зрению и нейробиологии представила революционную архитектуру глубокого обучения: искусственный интеллект считывает картинки мозга по сигналам функциональной магнитно-резонансной томографии (фМРТ) и воссоздает увиденное человеком с беспрецедентной анатомической точностью. Новая система Brain-IT способна решать сразу две противоположные задачи — восстанавливать визуальные сцены по нейронным откликам и предсказывать реакцию живого мозга на любые входящие изображения.
От вокселей к пикселям: как нейроинтерфейсы подошли к визуальному декодированию
Возможность заглянуть во внутренний мир человеческого восприятия десятилетиями оставалась священным граалем когнитивных наук. Прежние попытки декодирования данных функциональной МРТ сталкивались с колоссальными техническими ограничениями: томограф фиксирует не сами электрические спайки отдельных нейронов, а локальные изменения уровня оксигенации крови (BOLD-сигнал). Базовой единицей измерения при этом служит «воксель» — трехмерный кубический пиксель ткани мозга объемом в несколько кубических миллиметров, вмещающий сотни тысяч нейронов и миллионы синаптических контактов.

Традиционные алгоритмы машинного обучения требовали трудоемкого индивидуального обучения под каждого конкретного добровольца. Если участник эксперимента вставал из сканера или сканирование проводилось на томографе другой модели с иной мощностью магнитного поля (например, 3 Тесла против 7 Тесла), обученная модель полностью теряла работоспособность. Группе исследователей из Института науки Вейцмана в Израиле под руководством Романа Белого (Roman Beliy) и профессора Михаль Ирани (Michal Irani) удалось преодолеть этот фундаментальный барьер.
Созданная ими платформа объединила две взаимосвязанные системы: Universal Brain Encoder (универсальный кодировщик мозга) и Brain-IT (Brain Image Transformation — трансформатор изображений мозга). Подобно тому, как глобальные исследования нейросетевых структур головного мозга систематизируют синаптические пути, архитектура Вейцмана научилась выявлять общие для всех людей принципы кодирования зрительной информации.
Главной технической проблемой декодирования всегда являлось физическое ограничение фМРТ: один пространственный воксель размером 2х2х2 миллиметра регистрирует усредненный гемодинамический отклик сотен тысяч нейронов и миллионов синапсов, причем с задержкой в несколько секунд из-за инерционности кровотока. Чтобы извлечь полезный сигнал из этого зашумленного массива, авторы Brain-IT внедрили архитектуру самоконтролируемого контрастивного обучения (self-supervised contrastive learning), которая отфильтровывает физиологические шумы дыхания и сердечного ритма, изолируя паттерны, специфичные именно для зрительного восприятия.
Двухкомпонентный декодер Brain-IT: разделение структуры и семантики
Ключевая инновация Brain-IT, представленная на международной конференции ICLR и опубликованная в виде препринта на arXiv, заключается в обучении уникальных векторных профилей для каждого индивидуального вокселя зрительной коры. Каждый микроскопический объем ткани «обучается» сообщать алгоритму, на какие конкретно визуальные свойства он настроен — границы объектов, контраст, текстуру поверхности, ориентацию линий или высокоуровневые концепции вроде лиц людей и силуэтов животных.
Система сортирует тысячи вокселей первичной и высшей зрительной коры (зоны V1, V2, V4 и латеральный затылочный комплекс) на 128 функциональных кластеров. Эти кластеры непрерывно обмениваются контекстной информацией через механизм внимания (cross-attention), устраняя неизбежные шумы физиологических пульсаций крови.
На выходе декодер генерирует два независимых информационных потока: 1) Структурную матрицу (грубый пространственный каркас, геометрию форм и контуры сцены); 2) Семантический вектор (смысловое содержание сцены — «собака на зеленой траве», «бейсболист с битой», «городская улица»). Затем эти потоки подаются на вход предобученной генеративной диффузионной модели, которая не создает изображение из чистого случайного шума, а направленно кристаллизует визуальные детали в согласии со структурным скелетом.

«Мы не занимаемся чтением мыслей. Изображения, которые нам удается восстановить по данным фМРТ, отражают исключительно активную работу зрительной коры и требуют от человека полного сосредоточения и осознанного сотрудничества.»
Профессор Михаль Ирани (Michal Irani), соавтор исследования, Институт науки Вейцмана
Универсальность и двусторонний процесс: синтез сканов из картинок
Еще одной сенсацией работы стала возможность обратного преобразования (Image-to-fMRI). Система Universal Brain Encoder способна взять любое синтетическое или фотографическое изображение и с высокой точностью предсказать, какой именно паттерн активации вокселей возникнет в мозге человека при взгляде на этот объект.
Эта способность открывает невиданные перспективы для вычислительной нейробиологии: ученые могут тестировать сложные гипотезы о работе сенсорных зон коры «in silico» (на компьютере), моделируя зрительные реакции без необходимости часами держать добровольцев в шумном туннеле магнитно-резонансного томографа.
Благодаря гибкой векторной репрезентации модель успешно обобщает знания между разными людьми. Обучившись на данных одной группы испытуемых, Brain-IT способен реконструировать изображения из мозга нового человека, просмотревшего тестовый набор стимулов, демонстрируя универсальность базовых механизмов зрительного восприятия Homo sapiens.
Система объединяет тысячи вокселей мозга в 128 функциональных групп по типу обрабатываемой информации.
Декодер отдельно извлекает геометрию форм и семантическое описание объектов для диффузионной сети.
Модель не только воссоздает увиденное, но и предсказывает ответную реакцию мозга на любую картинку.
Технология не способна считывать скрытые мысли, сны или воспоминания без добровольного взгляда.
Этическая грань: читает ли искусственный интеллект наши мысли?
Появление подобных технологий закономерно вызывает в обществе волну тревоги, порождая опасения о скором создании систем недобровольного «чтения мыслей» или сканирования скрытых воспоминаний. Однако авторы исследования категорически отвергают такие спекуляции, проводя четкую границу между сенсорным восприятием и ментальными конструктами.
Brain-IT декодирует исключительно сигналы первичных отделов зрительной коры, активных в момент непосредственного оптического наблюдения физического объекта глазами. Система принципиально не способна восстанавливать внутренние фантазии, воспоминания юности, абстрактные размышления или сны, поскольку эти процессы вовлекают принципиально иные распределенные сети гиппокампа, префронтальной коры и лимбической системы.
Кроме того, процедура требует максимальной концентрации и добровольного сотрудничества участника: малейшее движение головы на миллиметр или расфокусировка взгляда полностью искажают паттерн фМРТ, превращая выходное изображение в нечитаемый цифровой шум.
- Разработана в Институте науки Вейцмана в Израиле и представлена на конференции ICLR.
- Позволяет переносить алгоритм между томографами разной мощности (3T и 7T).
- Использует диффузионный генератор, направляемый структурными контурами восприятия.
- В будущем ляжет в основу зрительных нейропротезов для парализованных пациентов.
Практические горизонты: нейропротезы и медицина будущего
Главная ценность Brain-IT лежит в области медицинской реабилитации и нейропротезирования. Пациенты, перенесшие обширные инсульты с поражением моторных центров речи (синдром «запертого человека») или страдающие боковым амиотрофическим склерозом (БАС), в будущем смогут использовать аналогичные интерфейсы для передачи визуальных образов и прямого диалога с окружающим миром.
В комбинации с портативными оптическими технологиями функциональной спектроскопии ближнего инфракрасного диапазона (fNIRS) алгоритмы визуального декодирования могут лечь в основу компактных нейрошлемов следующего поколения, стирающих границу между биологическим зрением и цифровыми пространствами.



