Новое исследование показывает, что предоставление системам искусственного интеллекта (ИИ) «внутреннего монолога» значительно улучшает их способность рассуждать.
Этот метод учит системы ИИ думать, прежде чем реагировать на подсказки, точно так же, как многие люди обдумывают, что нам следует сказать дальше, прежде чем начать говорить. Это отличается от того, как учёные обучали основных чат-ботов с искусственным интеллектом, таких как ChatGPT, которые не «думают» о том, что пишут, и не предвидят различные возможности для следующих шагов в разговоре.
Новый метод, получивший название Quiet-STaR, предписывает системе искусственного интеллекта параллельно генерировать множество внутренних обоснований, прежде чем реагировать на диалоговую подсказку. Когда ИИ отвечает на запросы, он генерирует смесь этих прогнозов с обоснованием и без него, выводя наилучший ответ, который может быть проверен участником-человеком в зависимости от характера вопроса.
Наконец, он учится, отбрасывая обоснования, которые оказались неверными. По сути, метод обучения даёт агентам ИИ возможность предвидеть будущие разговоры и извлекать уроки из текущих.
Исследователи применили алгоритм Quiet-STaR к Mistral 7B, большой языковой модели (LLM) с открытым исходным кодом, и опубликовали результаты 14 марта в базе данных предварительной arXiv. (Статья ещё не прошла рецензирование.)
Версия Mistral 7B, оснащённая системой Quiet-STaR, набрала 47,2 балла в тесте рассуждений по сравнению с 36,3 баллами до любого обучения. Однако разработка всё равно провалила школьный тест по математике, набрав 10,9%. И тем не менее, этот показатель был практически вдвое больше начального балла в 5,9% в базовой версии.
Такие модели, как ChatGPT и Gemini, построены на основе нейронных сетей — наборов алгоритмов машинного обучения, расположенных таким образом, чтобы имитировать структуру и модели обучения человеческого мозга. Однако системы, построенные с использованием этой архитектуры, плохо поддаются логическому обоснованию или контекстуализации, а чат-боты с искусственным интеллектом не обладают подлинным «пониманием».
Прошлые попытки улучшить логические возможности LLM были в значительной степени для предметной области специфичны и не могли быть применены к различным типам моделей искусственного интеллекта.
Алгоритм самоучки-рассуждателя (STaR), который исследователи использовали в качестве основы для своей работы, является одним из примеров такого алгоритма обучения, но его сдерживают эти ограничения.
Учёные, разработавшие Quiet-STaR, назвали его так потому, что принципы STaR могут применяться незаметно в фоновом режиме и, как правило, для нескольких различных типов LLM, независимо от исходных обучающих данных. Теперь они хотят изучить, как подобные методы могут сократить разрыв между системами искусственного интеллекта на основе нейронных сетей и способностями рассуждать, подобными человеческим.
