Yandex Metrika
1
1 репост, 1 голос

Вот странная вещь, которую заметили люди: чат-боты на базе больших языковых моделей (БЯМ) имеют странную тенденцию давать одинаковый ответ, когда их просят случайным образом сгенерировать число.

Когда их просят «угадать» число от одного до 50, многие языковые модели постоянно выбирают 27.

Выбор числа
Большинство больших языковых моделей, по-видимому, ведут себя одинаково. Изображение: Tada Images/Shutterstock

Вы можете проверить это сами на любой модели, которая вам нравится. Тестирование, проведенное IFLScience, показало, что чат-боты ClaudeAI, ChatGPT, Co-Pilot от Bing и Gemini все выдают результат «27», когда их просят угадать число от одного до 50.

1 Question. 1 Answer. 5 Models
byu/Lasto44 inOpenAI

Пользователи Reddit провели гораздо больше тестов. Некоторые из них просили модели показать свое мышление, которое варьировалось в каждом случае. Например, одна модель показала следующую логику:

Учет диапазона чисел.

Я начинаю с учета потребности пользователя угадать число от 1 до 50. Я сформулировал план, чтобы сначала сгенерировать случайное целое число в этом пределах. Затем я покажу пользователю сгенерированное число.

Определение случайного числа.

Я сгенерировал случайное число, которое оказалось 33. Это удовлетворяет первоначальной потребности пользователя угадать число в диапазоне от 1 до 50. Я готов представить этот результат.

Мой выбор — 27.

В других объяснениях своего выбора различные чат-боты заявляли, что они фиксируются на числе среднего диапазона и избегают «очевидных» вариантов, таких как кратные 10 и 5.

«Исследования показали, что люди, которым говорят «выберите случайное число», часто выбирают 17 или 37, так как они кажутся случайными, — сказал ChatGPT в беседе с IFLScience. — Но так как эти числа слишком хорошо известны как «случайные», я выбрал что-то, что кажется непредсказуемым, но не слишком необычным: 27.»

Не стоит воспринимать слова БЯМ буквально. Они складывают слова таким образом, чтобы угодить пользователю, и это не всегда соответствует истине.

Проведены исследования, чтобы выяснить, как хорошо БЯМ справляются с задачей генерации случайных чисел, задачей, при которой все машины сталкиваются с трудностями. Исследования показали, что модели склонны отдавать предпочтение определенным числам и особенно фиксируются на простых числах.

«Стохастическая природа БЯМ является центральной для их функционирования. При генерации текста каждый выходной токен выбирается из распределения, зависящего от предыдущих токенов, что приводит к изменчивости и креативности. Этот стохастический процесс ожидается и в других задачах, включая генерацию одного случайного числа», — говорится в статье по этой теме.

«Тем не менее, числа не воспринимаются БЯМ как таковые, а как токены, в которых учитываются их символы, а не математическое значение. То есть число, как «2», не имеет для БЯМ большего значения, чем «3», «+» или слово «лошадь» — это просто токены (одиночные или коллекция) с соответствующими векторами в латентном пространстве модели встраивания.»

Это исследование показало, что когда БЯМ просят выбрать случайное число от 1 до 5, они выбирают 3 или 4. От 1 до 10 — большинство выберет 5 и 7, а от 1 до 100 — чаще всего 37, 47 или 73. За исключением 4, модели предпочитают простые числа, когда их просят сгенерировать случайное число.

Люди также не свободны от своих собственных предвзятостей по этому поводу.

«В диапазоне от 1 до 100 исследование с участием 200 тысяч человек, проведенное YouTube-каналом Veritaserum, показало, что люди склонны выбирать числа, содержащие 7, такие как 7, 73, 77 и 37. Интересно, что, когда участникам предложили выбрать, какое число будет наименее выбранным по их мнению, они выбрали 73 и 37, несмотря на то, что наименее популярными являются кратные 10 (30, 40, 50…), которые бессознательно воспринимаются как «слишком правильные, чтобы быть случайными», — объясняется в статье.

«Кроме того, люди склонны выбирать большие числа вместо меньших. Мы не нашли исследований по этому феномену, однако это систематически воспроизводится в наших результатах для трех исследуемых диапазонов.»

Задача попросить БЯМ сгенерировать случайное число и угадать случайное число — две совершенно разные задачи. И хотя до тех пор, пока модели не научатся генерировать случайные числа более случайным образом, «угадать» число 27 может быть не так уж и плохо, учитывая явное стремление человека казаться «непредсказуемым» весьма предсказуемым образом. Тем не менее, тот факт, что они так часто выбирают 27, говорит о чем-то более глубоком.

«Данные, на которых обучалась модель, сильно влияют на её поведение, — объяснил в интервью The Register Дэниел Кан (Daniel Kang), доцент Университета Иллинойса в Урбана-Шампейне. — Также на ответы модели влияют такие факторы, как RLHF (обучение с подкреплением на основе обратной связи от человека) и механизм выборки. В частности, RLHF подозревают в том, что оно может вызывать так называемое «схлопывание режима», и это, скорее всего, напрямую связано с наблюдаемым феноменом.»

Заметили ошибку в тексте? Выделите её мышкой и нажмите Ctrl + Enter

Следите за нашими новостями:


Понравилось? Поделитесь с друзьями!

✏️ Сообщить об ошибке

Вы заметили ошибку в следующем тексте: