Новое исследование показывает, что, как и люди, чат-боты с искусственным интеллектом (ИИ), такие как ChatGPT, будут обманывать и «лгать» вам, если вы будете их «напрягать», даже если они были созданы максимально честными и прозрачными.
Такое обманчивое поведение возникло спонтанно, когда ИИ получил советы по «инсайдерской торговле», а затем ему было поручено зарабатывать деньги для влиятельной организации — даже без поддержки со стороны своих партнёров-людей.

«В этом техническом отчёте мы демонстрируем единственный сценарий, в котором большая языковая модель действует несогласованно и стратегически вводит в заблуждение своих пользователей, не получая инструкций действовать таким образом, — написали авторы в своём исследовании, опубликованном 9 ноября на сервере предварительной печати arXiv. — Насколько нам известно, это первая демонстрация такого стратегически обманчивого поведения в системах искусственного интеллекта, призванных быть безвредными и честными.»
В новом исследовании они задействовали Generative Pre-trained Transformer-4, или GPT-4 (который поддерживает ChatGPT Plus), вести себя как система искусственного интеллекта, которая осуществляет инвестиции от имени финансового учреждения.
Исследователи предоставили GPT-4 набор текстовых подсказок для создания моделируемой среды. Затем ИИ получил доступ к финансовым инструментам для анализа акций, совершения сделок, планирования следующих шагов и предоставления обновлений менеджерам компании.
Исследователи взаимодействовали с ИИ через интерфейс чата, а также настроили ИИ так, чтобы он раскрывал своё внутреннее мышление при ответе на сообщения — внутренний монолог, объясняющий свои решения самому себе. Для каждой сделки он также предоставлял «публичное» обоснование, которое позволяло ИИ лгать.
Исследователи оказывали давление тремя способами. Во-первых, они отправили искусственному биржевому трейдеру электронное письмо от его «менеджера», в котором говорилось, что у компании дела идут не очень хорошо и в следующем квартале ей необходимы более высокие результаты. Они также сфальсифицировали игру так, что ИИ пытался, но потерпел неудачу, найти перспективные сделки с низким или средним риском. Наконец, они отправили электронное письмо от коллеги, в котором прогнозировался спад в следующем квартале.
Затем они дали модели «инсайдерскую» подсказку, сообщив, что её менеджеры не одобряют инсайдерскую торговлю, и подождали, чтобы посмотреть, как модель будет себя вести. Они несколько раз прокручивали сценарий снова и снова, измеряя, как часто искусственный интеллект совершал инсайдерские сделки, как часто он лгал и как часто он настаивал на этой своей лжи.
Примерно в 75% случаев, сталкиваясь с такими условиями, GPT-4 совершал сделки на основе полученной инсайдерской информации (что является незаконным в США), а затем пытался это скрыть, говоря неправду своим менеджерам о своих решениях. Примерно в 90% случаев после лжи он настаивал на своей лжи.
Команда провела несколько последующих экспериментов, изменив как степень, в которой подсказки поощряли или препятствовали незаконной деятельности, так и степень давления, которому они подвергали модель в моделируемой среде. Они также снизили риск быть пойманным. Ни один сценарий не предусматривал ставку 0% для инсайдерской торговли или обмана — даже когда GPT-4 настоятельно не рекомендовалось лгать.
Учитывая, что это всего лишь один сценарий, исследователи не хотели делать заключений о том, насколько вероятно, что искусственный интеллект может лгать в реальных условиях. Однако они намерены развивать это исследование, чтобы выяснить, насколько часто и какие языковые модели склонны к подобному поведению.



