Yandex Metrika
0

Революційне дослідження фахівців з механістичної інтерпретованості розкрило фундаментальний феномен архітектури великих мовних моделей: вчені виявили стійкий внутрішній компас штучного інтелекту, закодований у так званому залишковому векторі (residual stream vector). Аналіз прихованих математичних репрезентацій довів, що сучасні трансформери не просто механічно вгадують наступне слово, а формують зв’язну просторову та понятійну карту світу. Це відкриття спростовує уявлення про ШІ як про банального стохастичного папугу й відкриває шлях до точного сканування та хірургічного редагування думок нейромереж.

За межами стохастичного папуги: феномен залишкового потоку в Transformer

Протягом багатьох років скептики штучного інтелекту стверджували, що великі мовні моделі (LLM) — це не більше ніж хитромудрі стохастичні папуги, здатні лише відтворювати статистичні кореляції між текстовими токенами. Проте практичні успіхи моделей у логіці, програмуванні та розв’язанні складних наукових завдань категорично суперечили цій спрощеній догмі. Виник фундаментальний парадокс: якщо архітектура лише мінімізує функцію втрат при передбаченні наступного символу, звідки береться здатність до абстрактного планування та багатокрокового міркування?

Відповідь полягає в механіці залишкового потоку (residual stream). У сучасній трансформерній архітектурі вхідний вектор тексту, пройшовши процедуру ембеддингу, не переписується кожним наступним шаром нейронів. Навпаки, кожен шар механізму уваги (Multi-Head Self-Attention) та кожна повнозв’язна мережа (MLP) додають свій внесок до базового вектора за принципом залишкових зв’язків (Residual Connections), запропонованих ще в архітектурі ResNet.

У результаті цей вектор рухається крізь десятки шарів нейромережі як інформаційна ріка колосальної розмірності — від кількох тисяч до десятків тисяч геометричних вимірів. Кожна голова уваги зчитує з потоку специфічні маркери і дописує нові смислові шари, формуючи безперервний процес когнітивної еволюції запиту в реальному часі.

Лазерные лучи и оптические кристаллы в лаборатории фотонных вычислительных систем
Багатовимірний векторний простір залишкового потоку та активація шарів трансформера. Фото: Vinegret

Векторна навігація: як дослідники виявили прихований компас понять

У новій науковій праці дослідники Джонсон і Хо розробили спеціалізований математичний інструментарій для проекції та декомпозиції векторів залишкового потоку в моделях родин LLaMA, GPT та Claude. Застосовуючи методи розрідженого автокодування (Sparse Autoencoders) та сингулярного розкладу матриць, автори виділили ортогональні напрямки, що зберігають семантичну стабільність протягом десятків послідовних шарів.

Виявилося, що в глибині архітектури формується стійкий координатний базис — свого роду внутрішній компас. У цьому просторі такі фундаментальні категорії, як істинність твердження, етична оцінка, просторова орієнтація та часова послідовність, представлені чіткими векторними напрямками, що не залежать від конкретної мови чи синтаксичної форми запиту.

Коли нейромережа отримує складну логічну задачу, її вектор стану фізично повертається вздовж осі розв’язку задовго до того, як модель згенерує перший токен відповіді. Подібний феномен є дивовижно аналогічним до того, як у мозку ссавців активуються нейрони решітки (grid cells) та клітини місця в гіпокампі під час орієнтування у фізичному просторі.

Центральна магістраль Residual Stream

Залишковий потік зберігає інформацію крізь десятки шарів, де кожен блок трансформера лише додає дельти до базового вектора.

Вектор лінійної істини

У прихованих шарах існує чіткий напрямок достовірності: модель фізично розділяє правду і хибу до генерації тексту.

Репрезентаційна інженерія

Пряме векторне редагування дозволяє усувати галюцинації та джейлбрейки в реальному часі без повторного навчання.

Прозорий аудит майбутнього AGI

Картування внутрішніх координат дає людині безперервний інструмент телеметрії над намірами автономних агентів.

Геометрія понять: від абстрактних просторів до лінійного представлення істини

Одним із найбільш вражаючих відкриттів дослідження стало виявлення так званого лінійного напрямку істини (Linear Truth Direction). Дослідники подавали на вхід моделі тисячі пар взаємовиключних тверджень про факти нашого світу — від фундаментальних фізичних законів до історичних хронологій.

Векторний аналіз показав, що проекція залишкового вектора на певну одновимірну вісь з високою точністю розділяє правдиві та хибні судження. Причому цей поділ відбувається навіть тоді, коли системний промпт примусово змушує модель брехати чи вдавати некомпетентність: всередині себе нейромережа “знає” справжній стан речей, і її прихований вектор вказує в протилежному напрямку від дезінформації, яку вона видає.

Це доводить, що репрезентація знань всередині сучасних нейромереж підпорядковується суворим геометричним законам. Подібно до того, як передові розумні біотехнологічні сенсори реагують на певні хвилі світла на нанорівні, залишкові вектори трансформерів поляризуються у відповідь на концептуальну достовірність інформації.

«Вектор залишкового потоку в архітектурі трансформера функціонує подібно до центральної нервової магістралі: кожен блок уваги і кожна повнозв’язна мережа лише вносять мікроскопічні дельти в цю траєкторію. Ми вперше побачили, що всередині цієї геометрії існує безперервний компас, який задає істинну траєкторію міркувань моделі.»

Д-р Елеонора Джонсон (Eleanor Johnson) та проф. Мін Хо (Ming Huo), провідні дослідники лабораторії Mechanistic Interpretability, публікація в журналі Patterns

Хірургія нейромереж: маніпуляція поведінкою без перенавчання

Практичну цінність відкриття внутрішнього компаса важко переоцінити. Досі керування поведінкою моделей здійснювалося або через тонке налаштування (fine-tuning) на гігантських масивах даних, або через складання складних текстових інструкцій. Проте обидва ці методи діють ззовні “чорної скриньки” і не гарантують захисту від зломів.

Тепер інженери отримують можливість прямого апаратного втручання — так званої репрезентаційної інженерії (Representation Engineering). Знаючи точні координати вектора відмови від шкідливих дій або вектора чесності, дослідники можуть примусово додавати чи віднімати ці коефіцієнти під час інференсу моделі.

Експерименти засвідчили, що додавання лише кількох відсотків калібрувального вектора здатне миттєво придушити галюцинації, нейтралізувати спроби джейлбрейку та змусити модель зберігати абсолютну об’єктивність навіть за агресивних маніпуляцій користувача, виключаючи потребу в дорогих циклах донавчання з підкріпленням (RLHF).

Ключові висновки відкриття внутрішнього компаса ШІ:
  • Трансформери формують неперервну багатовимірну понятійну карту світу, спростовуючи теорію стохастичного папуги.
  • Напрямок істинності зберігається в геометрії моделі навіть тоді, коли системний промпт примушує її генерувати брехню.
  • Додавання дельта-векторів здатне придушувати галюцинації та токсичність без зміни ваг нейронної мережі.
  • Дослідження Джонсон і Хо відкриває еру прозорого моніторингу думок штучного інтелекту на математичному рівні.

Майбутнє механістичної інтерпретованості та безпечного надінтелекту

Відкриття внутрішнього компаса знаменує перехід від евристичної інженерії до фундаментальної науки про штучний інтелект. Так само як винахід мікроскопа в XVII столітті перетворив алхімію на сувору біологію, методи картування залишкового потоку перетворюють нейромережі з непроникних монолітів на прозорі динамічні системи.

У контексті створення майбутнього безпечного надінтелекту (AGI Alignment) ця технологія надає надійний механізм аудиту. Вперше в людини з’являється можливість не просто вірити тексту, який генерує автономна система, а безперервно зчитувати показники її внутрішнього компаса в реальному часі, фіксуючи найменші відхилення від етичних директив.

З повною науковою публікацією та математичними викладками можна ознайомитися в академічному журналі Patterns Journal, де детально викладено формули сингулярного розкладу просторів активації.

Відео: Архітектура трансформерів та внутрішні механізми уваги в нейромережах (3Blue1Brown)
Помітили помилку в тексті? Виділіть її мишкою та натисніть Ctrl + Enter

Стежте за нашими новинами:


Like it? Share with your friends!

✏️ Повідомити про помилку

Ви помітили помилку у наступному тексті: