Сейчас искусственный интеллект (ИИ) присутствует повсюду. При написании какого-то документа, вас, вероятно, спросят, нужен ли вам «помощник ИИ». При открытии же PDF-файл, вам могут предложить резюме, созданное ИИ. Но если вы использовали ChatGPT или подобные программы, то, скорее всего, сталкивались с одной проблемой — они выдумывают факты, из-за чего люди начинают относиться с подозрением к тому, что они говорят.
Эти ошибки часто называют «галлюцинациями». Но говорить о ChatGPT таким образом — значит вводить в заблуждение и потенциально наносить ущерб. Вместо этого назовите это ерундой.
Среди философов «ерунда» имеет специализированное значение, популяризированное покойным американским философом Гарри Франкфуртом (Harry Frankfurt). Когда кто-то говорит ерунду, они не говорят правду, но и не лгут. Что характеризует человека, говорящего ерунду, по словам Франкфурта, так это то, что ему безразлично, правда ли то, что он говорит. ChatGPT и его аналогам всё равно, и, в техническом смысле, они являются машинами по производству ерунды.
Мы легко можем понять, почему это так и почему это важно. Например, в прошлом году один юрист оказался в неприятной ситуации, когда использовал ChatGPT для своих исследований при написании юридического документа. К сожалению, ChatGPT включил в него вымышленные ссылки на судебные дела, которые просто не существовали.
Это не редкость и не аномалия. Чтобы понять, почему так происходит, стоит задуматься о том, как работают эти программы. ChatGPT от OpenAI, чат-бот Gemini от Google и Llama от Meta работают по структурно схожим принципам. В их основе лежит LLM — большая языковая модель. Все эти модели делают прогнозы относительно общения. При получении входных данных, ChatGPT делает предсказание о том, что должно следовать дальше или какой ответ будет уместным. Он делает это через анализ огромных объёмов текста (своих «учебных данных»). В случае ChatGPT первоначальные данные обучения включали миллиарды страниц текста из Интернета.
Из этих учебных данных LLM предсказывает, какой фрагмент текста или запрос должен следовать дальше. Он составляет список наиболее вероятных слов (технически, лингвистических токенов), которые должны следовать, а затем выбирает одного из ведущих кандидатов. Возможность не выбирать самое вероятное слово каждый раз позволяет создавать более креативный (и более похожий на человеческий) язык. Параметр, который устанавливает степень допустимого отклонения, называется «температура». На более поздних этапах процесса человеческие тренеры уточняют предсказания, оценивая, насколько разумными являются выводы. Также на программу могут быть наложены дополнительные ограничения, чтобы избежать проблем (например, чтобы ChatGPT не высказывался расистски), но это предсказание токен за токеном — идея, лежащая в основе всей этой технологии.
Из этого описания мы видим, что ничто в моделировании не гарантирует, что результаты точно отображают что-либо в мире. Нет особых оснований думать, что выходы вообще связаны с каким-либо внутренним представлением. Хорошо обученный чат-бот будет создавать текст, похожий на человеческий, но ничто в этом процессе не проверяет достоверность текста, поэтому мы сильно сомневаемся, что LLM действительно понимает то, что говорит.
Поэтому иногда ChatGPT говорит неправду. В последние годы, когда мы начали привыкать к ИИ, люди стали называть эту ложь «галлюцинациями ИИ». И хотя этот язык метафоричен, мы считаем, что это не очень хорошая метафора.
Возьмём, к примеру, парадигматическую галлюцинацию Шекспира, в которой Макбет видит перед собой плывущий кинжал. Что здесь происходит? Макбет пытается использовать свои способности восприятия обычным способом, но что-то пошло не так. И его способности восприятия почти всегда надежны — обычно он не видит беспорядочно летающих кинжалов! Обычно его видение полезно для представления мира, и оно хорошо в этом из-за своей связи с миром.
Теперь подумайте о ChatGPT. Всякий раз, когда он что-то говорит, он просто пытается создать человеческий текст. Цель состоит в том, чтобы просто сделать что-то, что звучит хорошо. Это никогда не связано напрямую с миром. Если что-то идёт не так, то это не потому, что на этот раз ему не удалось представить мир, ведь он никогда и не пытается представлять мир! Называя эту ложь «галлюцинациями», эта особенность не отражается.
Вместо этого мы предлагаем, как указано в июньском отчете в журнале Ethics and Information Technology, что лучше использовать термин «ерунда». Как уже упоминалось, человеку, говорящему ерунду, просто безразлично, правда ли то, что он говорит.
Так что если мы рассматриваем ChatGPT как участника разговора с нами — хотя даже это может быть немного притворством, — то он соответствует этому определению. Несмотря на все свои намерения, он стремится создать убедительный текст, похожий на человеческий. Он не пытается рассказать что-то о мире. Он просто несёт ерунду. И, что важно, он несёт ерунду, даже когда говорит правду!
Почему же это имеет значение? Не является ли «галлюцинация» просто красивой метафорой? Действительно ли это имеет значение, если она не подходит? Мы считаем, что это имеет значение, по крайней мере, по трём причинам.
Во-первых, используемая нами терминология влияет на понимание технологии общественностью, что важно само по себе. Если мы используем вводящие в заблуждение термины, люди, скорее всего, неправильно поймут, как работает технология. Мы считаем, что это само по себе плохо.
Во-вторых, то, как мы описываем технологию, влияет на наше отношение к ней и на то, что мы о ней думаем. И это может быть вредно. Подумайте о людях, которые были одурманены иллюзией безопасности «самоуправляемых» автомобилей. Мы опасаемся, что разговоры о том, что ИИ «галлюцинирует» — термин, обычно используемый в человеческой психологии, — могут привести к очеловечиванию чат-ботов. Эффект ЭЛИЗЫ/ELIZA (названный в честь чат-бота 1960-х годов) возникает, когда люди приписывают человеческие черты компьютерным программам. Мы убедились в этом на примере сотрудника Google, который пришёл к выводу, что один из чат-ботов компании обладает разумом. Описание ChatGPT как машины по производству ерунды (даже если она очень впечатляющая) помогает снизить этот риск.
В-третьих, если мы приписываем программам самостоятельность, это может переложить вину с тех, кто использует ChatGPT, или его разработчиков, когда что-то пойдёт не так. Если, как представляется, такого рода технологии будут всё чаще использоваться в таких важных областях, как здравоохранение, крайне важно, чтобы мы знали, кто несёт ответственность за то, что что-то идёт не так.
Поэтому в следующий раз, когда вы увидите, что кто-то описывает выдумку ИИ как «галлюцинацию», просто назовите это ерундой!
