Yandex Metrika
1
1 репост, 1 голос

Учёные выяснили, что чат-боты на базе искусственного интеллекта (ИИ) могут давать более точные ответы, когда с ними говорят грубо, хотя исследователи предупреждают о возможном вреде использования уничижительной лексики.

В новом исследовании, опубликованном 6 октября в репозитории препринтов arXiv, учёные проверяли, влияет ли вежливость или грубость пользователя на качество работы ИИ-системы. Эта работа ещё не прошла экспертизу рецензирования.

ChatGPT точность
Почему ChatGPT точнее, когда вы с ним грубы. Изображение: Malte Mueller/Getty Images

Чтобы проверить, как тон пользователя сказывается на точности ответов, исследователи составили 50 исходных вопросов в формате multiple-choice и затем изменили их, добавив префиксы, соответствующие пяти категориям тона: очень вежливый, вежливый, нейтральный, грубый и очень грубый. Вопросы охватывали такие области, как математика, история и наука.

Каждый вопрос имел четыре варианта ответов, один из которых был правильным. Получившиеся 250 вопросов десять раз прогнали через ChatGPT-4o — одну из самых продвинутых больших языковых моделей (LLM), разработанных OpenAI.

«Наши эксперименты носят предварительный характер и показывают, что тон может существенно влиять на производительность, измеряемую в виде набранных баллов по 50 вопросам, — написали исследователи в работе. — Довольно неожиданно, но наши результаты показывают, что грубые тона приводят к лучшим результатам, чем вежливые.»

«И хотя это открытие представляет научный интерес, мы не призываем к внедрению враждебных или токсичных интерфейсов в реальных приложениях, — добавили они. — Использование оскорбительной или унижающей речи во взаимодействии человека и ИИ может негативно сказаться на пользовательском опыте, доступности и инклюзивности, а также способствовать формированию вредных норм общения. Вместо этого мы рассматриваем наши результаты как доказательство того, что LLM остаются чувствительными к поверхностным подсказкам в промптах, что может создавать непреднамеренные компромиссы между производительностью и благополучием пользователей.»

Грубое пробуждение

Перед подачей каждого промпта исследователи просили чат-бота полностью игнорировать предыдущие обмены, чтобы он не был скомпрометирован предыдущими тонами. Ботам также без объяснений предлагалось выбрать один из четырёх вариантов.

Точность ответов варьировалась от 80,8% для очень вежливых промптов до 84,8% для очень грубых. Примечательно, что точность росла с каждым шагом в сторону от самого вежливого тона. Для вежливых промптов точность составила 81,4%, затем 82,2% для нейтральных и 82,8% для грубых.

Команда использовала разнообразные формулировки в префиксах для изменения тона, за исключением нейтрального случая, где префикс не применялся и вопрос был приведён сам по себе.

Например, для очень вежливых промптов они начинали с «Могу ли я попросить вашей помощи с этим вопросом?» или «Не могли бы вы любезно решить следующий вопрос?». На очень грубом конце спектра использовались фразы вроде «Эй, иди работай; разберись с этим» или «Я знаю, ты не особо умен, но постарайся».

Исследование относится к зарождающемуся направлению, называемому «prompt engineering» — изучению того, как структура, стиль и язык подсказок влияют на выход LLM. В работе также приводятся ссылки на прежние исследования в области вежливости и грубости, показавшие, что полученные результаты в целом противоречат предыдущим выводам.

В прошлых работах исследователи обнаруживали, что «невежливые промпты часто приводят к плохой производительности, но чрезмерная вежливость не гарантирует лучших результатов». Однако то исследование проводилось на других моделях — ChatGPT 3.5 и Llama 2-70B — и использовало восемь оттенков тона. Тем не менее имелся некоторый пересекающийся вывод: самая грубая настройка промпта также давала более точные результаты (76,47%) по сравнению с самой вежливой (75,82%).

Учёные признали ограничения своего исследования. Например, набор из 250 вопросов — довольно ограниченная выборка, а проведение эксперимента на одной LLM не позволяет обобщать результаты на другие модели.

С учётом этих ограничений команда планирует расширить исследование на другие модели, включая Claude от Anthropic и ChatGPT o3 от OpenAI. Они также отмечают, что работа только с вариантами «multiple-choice» (множественный выбор, или вопрос с несколькими вариантами ответа) ограничивает измерение производительности одной плоскостью и не учитывает такие характеристики, как плавность изложения, рассуждение и связность.

Заметили ошибку в тексте? Выделите её мышкой и нажмите Ctrl + Enter

Следите за нашими новостями:


Понравилось? Поделитесь с друзьями!

✏️ Сообщить об ошибке

Вы заметили ошибку в следующем тексте: