Yandex Metrika
1
1 репост, 1 голос

Учёные разработали новый тип модели искусственного интеллекта (ИИ), которая рассуждает иначе, чем большинство крупных языковых моделей (LLM), таких как ChatGPT, и показывает значительно лучшие результаты на ключевых тестах.

Новый ИИ для рассуждений, получивший название иерархическая модель рассуждений (HRM), вдохновлён принципами работы человеческого мозга. Он использует многоуровневую обработку информации на разных временных масштабах — от миллисекунд до минут, подобно тому, как различные области мозга интегрируют данные за разные промежутки времени.

Будущее ИИ
Изображение: Eugene Mymrin/Getty Images

По словам специалистов компании Sapient из Сингапура, эта модель рассуждений работает эффективнее и точнее. Добиться этого удалось благодаря тому, что HRM требует меньше параметров и обучающих примеров.

Модель HRM содержит всего 27 миллионов параметров и обучалась на 1000 примерах, говорится в исследовании, опубликованном 26 июня в базе препринтов arXiv (работа ещё не прошла рецензирование). Для сравнения: у большинства современных LLM параметры измеряются миллиардами и даже триллионами. Точных данных о GPT-5 пока нет, но, по оценкам, в ней может быть от 3 до 5 триллионов параметров.

Новый способ «мышления» для ИИ

При тестировании HRM на бенчмарке ARC-AGI — сложнейшем испытании, оценивающем, насколько модели приближаются к искусственному общему интеллекту (AGI), — система показала впечатляющие результаты.

В ARC-AGI-1 HRM набрала 40,3%, против 34,5% у OpenAI o3-mini-high, 21,2% у Claude 3.7 (Anthropic) и 15,8% у Deepseek R1.

В более сложном ARC-AGI-2 результат HRM составил 5%, тогда как у o3-mini-high — 3%, у Deepseek R1 — 1,3%, а у Claude 3.7 — всего 0,9%.

Большинство современных LLM используют метод рассуждений chain-of-thought (CoT) — когда сложная задача разбивается на ряд более простых промежуточных шагов, выраженных на естественном языке. Это имитирует человеческое мышление, позволяя упрощать проблему до понятных частей.

Однако авторы исследования считают, что у CoT есть серьёзные недостатки — «хрупкая декомпозиция задач, огромные требования к данным и высокая задержка».

В отличие от этого, HRM выполняет рассуждения за один прямой проход, без пошагового контроля промежуточных этапов, благодаря работе двух модулей:

  • верхний отвечает за медленное абстрактное планирование;
  • нижний — за быстрые и точные вычисления.

Такой подход напоминает то, как разные области мозга параллельно обрабатывают информацию.

Модель применяет метод итеративного уточнения — технику, при которой решение постепенно улучшается серией коротких «всплесков мышления». После каждого цикла система решает: продолжать рассуждения или зафиксировать результат как окончательный ответ.

HRM показала почти идеальные результаты в сложных задачах, например, при решении судоку высокой сложности (чего LLM обычно не удаётся достичь), а также продемонстрировала выдающуюся точность при поиске оптимальных маршрутов в лабиринтах.

Хотя работа ещё не прошла рецензирование, организаторы бенчмарка ARC-AGI попытались воспроизвести результаты, так как учёные выложили модель в открытый доступ на GitHub.

И хотя цифры подтвердились, эксперты отметили неожиданный момент: сама по себе иерархическая архитектура почти не влияла на результат. Основной прирост точности обеспечил малозадокументированный процесс уточняющего обучения, который применялся в ходе тренировки модели.

Заметили ошибку в тексте? Выделите её мышкой и нажмите Ctrl + Enter

Следите за нашими новостями:


Понравилось? Поделитесь с друзьями!

✏️ Сообщить об ошибке

Вы заметили ошибку в следующем тексте: