Yandex Metrika
1
3 репоста, 1 голос

Чат-боты с искусственным интеллектом (ИИ) плохо запоминают информацию — как между отдельными разговорами, так и даже во время одного и того же разговора. Но два недавних открытия могут полностью изменить данную  ситуацию.

Если вы достаточно долго общаетесь с большой языковой моделью (LLM), такой как ChatGPT от OpenAI, она в конечном итоге начнёт забывать важные фрагменты информации, особенно если разговор растянется более чем на 4 миллиона вводимых слов. После же и вовсе её производительность начнёт быстро ухудшаться.

Чат-боты с искусственным интеллектом должны намного лучше запоминать информацию. Учёные только что решили свою ужасную проблему с памятью?
Чат-боты, такие как ChatGPT, начинают давать сбои, если у вас достаточно длинный разговор. Изображение: Eoneren via Getty Images

Между тем, ChatGPT и другие LLM не могут сохранять информацию между разговорами. Например, если вы закончите один разговор и перезагрузите ChatGPT через неделю, чат-бот ничего не запомнит из предыдущего обмена сообщениями.

Но две разные команды экспертов, по всей видимости, нашли решения этих проблем с памятью. Группа учёных во главе с Массачусетским технологическим институтом (MIT) точно определила причину, по которой ИИ забывает что-то в середине разговора, и придумала способ это исправить, в то время как разработчики из OpenAI начали тестирование долговременной памяти, с помощью которой вы можете попросить ChatGPT запомнить части разговоров, спросить его, что он помнит, а позже сказать ему что-то забыть — или полностью стереть его память.

Улучшение производительности в середине разговора

Учёные обнаружили, что они могут улучшить кратковременную память чат-ботов, изменив способ хранения и замены токенов в кэше «ключ-значение» — кратковременной памяти чат-бота, где один токен представляет собой фрагмент вводимого текста. Учёные назвали свой новый подход «StreamingLLM» и представили свои выводы в статье, опубликованной 12 декабря 2023 года на сервере препринтов arXiv.

Память чат-бота ограничена, поэтому по мере продолжения разговора он удаляет самые старые токены и заменяет их новыми. Но применение StreamingLLM к LLM означает, что она может сохранить первые четыре токена, прежде чем удалить пятый токен. Это означает, что, как бы там ни было, она всё равно будет что-то забывать — из-за природы её ограниченной памяти — но запомнит самые первые взаимодействия.

Порядок токенов (и то, помечены ли они первым, вторым, третьим и т.д.) также имеет значение, поскольку они входят в «карту внимания» для активного разговора. Это показывает, насколько сильно каждый токен связан с другими токенами.

Например, если пятый токен вытесняется, вы можете ожидать, что шестой токен станет новым пятым токеном. Но для того, чтобы StreamingLLM работала, токены должны оставаться в том виде, в котором они были изначально. В этом примере шестой токен не должен быть закодирован как новый «пятый» токен только потому, что он теперь находится на пятом месте — а должен оставаться закодированным как шестой токен.

Чат-боты с искусственным интеллектом должны намного лучше запоминать информацию. Учёные только что решили свою ужасную проблему с памятью?
Токены загружаются в «карту внимания» для каждого разговора, при этом чат-бот с искусственным интеллектом устанавливает связи между токенами и определяет их релевантность друг другу. Изображение: Andriy Onufriyenko via Getty Images

Эти два изменения означают, что чат-бот работает так же эффективно, как и раньше, за пределами 4 миллионов слов, говорится в статье учёных. Кроме того, он в 22 раза быстрее, чем другой метод кратковременной памяти, который позволяет избежать падения производительности за счёт постоянного пересчёта части предыдущего диалога.

«Теперь, с помощью этого метода, мы можем постоянно развёртывать эти большие языковые модели. Создав чат-бота, с которым мы всегда можем общаться и который всегда может ответить нам на основе наших недавних бесед, мы могли бы использовать эти чат-боты в некоторых новых приложениях», — сказал в своём заявлении ведущий автор исследования Гуансюань Сяо (Guangxuan Xiao), аспирант по электротехнике и информатике Массачусетского технологического института.

StreamingLLM уже была включена в открытую библиотеку оптимизации модели LLM от Nvidia, называемую TensorRT-LLM, которая используется разработчиками в качестве основы для своих собственных искусственных интеллектуальных моделей. Исследователи также планируют улучшить StreamingLLM, разработав её для поиска и повторного включения удалённых токенов, если они снова понадобятся.

ChatGPT никогда не забудет

OpenAI также тестирует метод улучшения долговременной памяти ChatGPT, чтобы пользователи могли продолжать общение и эффективно строить рабочие отношения с чат-ботом с искусственным интеллектом.

При общении с LLM пользователи смогут попросить ChatGPT запомнить что-то конкретное или предоставить ему автономию для запоминания элементов разговора, которые он сочтёт целесообразным сохранить для дальнейшего использования. Эти воспоминания не связаны с конкретными разговорами, поэтому удаление чатов не будет приводить к стиранию воспоминаний — сама память должна быть удалена в отдельном интерфейсе. Если же эти воспоминания не будут удалены вручную, при запуске нового чата будет предварительно загружен ChatGPT с ранее сохранёнными воспоминаниями.

OpenAI привел несколько примеров того, как это было бы полезно. В одном примере чат-бот запомнил, что воспитательница детского сада с 25 учениками предпочитает 50-минутные занятия с последующими мероприятиями, и вспомнил эту информацию, чем помог им составить план урока. В другом случае кто-то рассказал ChatGPT, что его малыш любит медуз, и инструмент искусственного интеллекта запомнил это при создании для него поздравительной открытки.

Компания внедрила новые функции памяти для небольшой части пользователей ChatGPT, сообщили представители в заявлении от 13 февраля, в преддверии запланированного более широкого внедрения для всех пользователей.

OpenAI будет использовать информацию из памяти для улучшения своих моделей, говорится в заявлении представителей компании. Однако они добавили, что учёные предпринимают шаги для оценки и смягчения предвзятости и предотвращения запоминания ChatGPT конфиденциальной информации, такой как сведения о состоянии здоровья, если только пользователь сам не попросит его об этом. Пользователи, имеющие доступ к памяти, также смогут использовать «временный чат», в котором память будет полностью отключена.

Заметили ошибку в тексте? Выделите её мышкой и нажмите Ctrl + Enter

Следите за нашими новостями:


Понравилось? Поделитесь с друзьями!

✏️ Сообщить об ошибке

Вы заметили ошибку в следующем тексте: