Команда фахівців із комп’ютерного зору та нейробіології представила революційну архітектуру глибокого навчання: штучний інтелект зчитує картинки мозку за сигналами функціональної магнітно-резонансної томографії (фМРТ) та реконструює побачене людиною із безпрецедентною анатомічною точністю. Новітня система Brain-IT здатна вирішувати одночасно два взаємопов’язані завдання — відтворювати візуальні сцени за активністю кори та передбачати нейронну відповідь живого мозку на будь-які цифрові зображення.
Від вокселів до пікселів: як нейроінтерфейси підійшли до візуального декодування
Можливість зазирнути у внутрішній світ людського сприйняття десятиліттями залишалася заповітною мрією когнітивних наук. Попередні спроби візуального декодування сигналів функціональної МРТ наштовхувалися на фундаментальні бар’єри: сканер томографа реєструє не електричні імпульси окремих нейронів, а гемодинамічні зміни рівня кисню в судинах (BOLD-сигнал). Одиницею вимірювання слугує «воксель» — об’ємний кубик мозкової тканини розміром у кілька міліметрів, де скупчено сотні тисяч нервових клітин та мільйони синапсів.

Традиційні моделі машинного навчання вимагали надзвичайно виснажливого індивідуального калібрування під кожного конкретного пацієнта. Якщо людина знову сідала в апарат або експеримент проводився на томографі іншого виробника зі зміненою потужністю магнітного поля (3 Тесла проти 7 Тесла), натренована нейромережа втрачала точність. Команді дослідників з Інституту науки Вейцмана в Ізраїлі під керівництвом Романа Бєлого (Roman Beliy) та професорки Міхаль Ірані (Michal Irani) вдалося подолати це обмеження.
Створена ними платформа об’єднала дві взаємодоповнюючі системи: Universal Brain Encoder (універсальний кодувальник мозку) та Brain-IT (трансформатор зображень мозку). Так само, як глобальні дослідження нейромережевих структур головного мозку картографують синаптичні зв’язки, ізраїльська модель виявила спільні інваріантні принципи зорового кодування, універсальні для нервової системи людини.
Двокомпонентний декодер Brain-IT: поділ геометрії та семантики
Головна технічна інновація моделі Brain-IT, презентованої на авторитетній конференції ICLR та оприлюдненої у препринті на arXiv, полягає у формуванні персоналізованих векторних профілів для кожного вокселя кори. Кожен мікрооб’єм тканини навчається фіксувати конкретні параметри зображення — лінії, кути, орієнтацію контрасту, текстури поверхонь або складні абстрактні образи на зразок людських облич чи тварин.
Алгоритм розподіляє тисячі вокселів первинної та асоціативної зорової кори (зони V1, V2, V4 і латеральний потиличний комплекс) на 128 функціональних груп. Завдяки механізму крос-уваги (cross-attention) ці групи постійно узгоджують висновки між собою, нівелюючи фізіологічні спотворення пульсу та дихання.
Декодер вибудовує два паралельні потоки інформації: 1) Структурний каркас (просторове розташування форм і меж об’єктів у кадрі); 2) Семантичний вектор (сутність сцени — «собака на галявині», «бейсболіст із битою», «міський краєвид»). Ці дані скеровуються у дифузійний генератор, який синтезує фінальну фотографію не з випадкового хаосу, а послідовно кристалізує деталі відповідно до заданого мозком контуру.

«Ми не зчитуємо думки людей. Зображення, які нам вдається реконструювати за даними фМРТ, є відображенням виключно активного зорового сприйняття і вимагають свідомої уваги та повної співпраці людини.»
Професорка Міхаль Ірані (Michal Irani), співавторка дослідження, Інститут науки Вейцмана
Універсальність та зворотний процес: моделювання фМРТ із зображень
Ще однією вагомою перевагою архітектури стала підтримка зворотного перетворення (Image-to-fMRI). Модуль Universal Brain Encoder здатний взяти будь-яке цифрове зображення чи фотографію та з високою математичною точністю змоделювати просторовий малюнок активності вокселів, який виникне в голові людини під час споглядання цього об’єкта.
Ця здатність відкриває небачені можливості для нейронауки: дослідники можуть тестувати складні когнітивні гіпотези «in silico» (на сервері), прогнозуючи реакції сенсорних центрів без необхідності багатогодинного перебування волонтерів у шумному апараті МРТ.
Завдяки єдиному простору ознак модель демонструє високу міжсуб’єктну гнучкість: після тренування на одній вибірці Brain-IT успішно відновлює картинки з мозку абсолютно нового учасника, доводячи універсальність первинної зорової обробки у приматів.
Масштабованість такої системи дає змогу вченим моделювати сприйняття складних динамічних відеопотоків, формуючи фундамент для майбутніх біонічних протезів зору та інтерактивних інтерфейсів прямого нейронного зв’язку.
Система структурує тисячі вокселів мозку у 128 груп за характером оброблюваної інформації.
Декодер окремо фіксує геометрію форм та смислове наповнення для дифузійного генератора.
Модель не лише відновлює картинки з мозку, а й моделює нейронну реакцію на нові зображення.
Нейромережа принципово нездатна бачити приховані спогади, фантазії чи сни людини.
Етичні межі: чи вміє нейромережа підглядати за думками?
Розвиток таких систем неминуче породжує суспільну тривогу щодо появи антиутопічних технологій тотального «читання думок» або прихованого сканування пам’яті. Проте автори розробки категорично заперечують такі побоювання, наголошуючи на суворих біологічних обмеженнях.
Brain-IT працює суто із сенсорним відгуком потиличної зорової кори, активної лише в мить прямого фокусування погляду на фізичному об’єкті. Система принципово не здатна зчитувати внутрішній голос, спогади дитинства, абстрактні міркування або сновидіння, оскільки ці вищі функції реалізуються складними розподіленими мережами гіпокампа та лобових часток кори.
Крім того, процес вимагає відкритої співпраці людини: найменший рух голови чи зміщення фокусу погляду миттєво руйнує просторову сітку вокселів, перетворюючи результат на беззмістовні цифрові артефакти.
У клінічній практиці технологія Brain-IT обіцяє справжню революцію для пацієнтів із синдромом «замкненої людини» (locked-in syndrome) та важкими ураженнями стовбура мозку чи бічним аміотрофічним склерозом. Можливість безпосередньо зчитувати внутрішні візуальні репрезентації дозволить створити новий клас нейрокомунікаторів, через які повністю паралізовані люди зможуть висловлювати думки, бажання та спогади. Крім того, пряма трансляція зорових сигналів відкриває унікальні перспективи для нейрореабілітації пацієнтів після ішемічних інсультів, допомагаючи оцінити збереженість асоціативних ділянок кори головного мозку.
- Створена науковцями Інституту науки Вейцмана та представлена на конференції ICLR.
- Дозволяє переносити ваги моделі між томографами різної потужності (3T та 7T).
- Поєднує воксельні профілі з генеративною дифузійною мережею зображень.
- Слугуватиме основою для новітніх зорових нейропротезів та систем комунікації.
Практичні перспективи: нейропротезування та медицина
Головне практичне призначення розробки полягає у створенні новітніх нейроінтерфейсів для пацієнтів із важкими ураженнями нервової системи. Люди з синдромом «зачиненої людини» після інсультів або з бічним аміотрофічним склерозом (БАС) зможуть використовувати подібні системи для трансляції зорових побажань та взаємодії із зовнішнім світом.
У поєднанні з портативними датчиками оптичної томографії ближнього інфрачервоного діапазону (fNIRS) алгоритми декодування стануть фундаментом для створення компактних нейрогарнітур, що об’єднають біологічний зір та цифрові технології.



