Когда в марте была запущена большая языковая модель (LLM) Claude 3, она вызвала ажиотаж, превзойдя GPT-4 от OpenAI в ключевых тестах, используемых для проверки возможностей моделей генеративного искусственного интеллекта (ИИ).
Claude 3 Opus, по-видимому, стал новым лидером в крупных языковых тестах, возглавив эти тесты для самооценки, которые варьируются от экзаменов в средней школе до тестов на логическое мышление. Его родственные LLM — Claude 3 Sonnet и Haiku — также получили высокие оценки по сравнению с моделями OpenAI.
Однако эти тесты — только часть истории. После анонса независимый тестировщик искусственного интеллекта Рубен Хасид (Ruben Hassid) сравнил GPT-4 и Claude 3 друг с другом в квартете неофициальных тестов, от обобщения PDF-файлов до написания стихов. Основываясь на этих тестах, он пришёл к выводу, что Claude 3 выигрывает в «чтении сложного PDF-файла, написании стихотворения с рифмами [и] при этом даёт подробные ответы». GPT-4, напротив, имеет преимущество в просмотре Интернета и чтении графиков в формате PDF.
Но Claude 3 впечатляет не только в плане успешного прохождения тестов: LLM шокировала экспертов очевидными признаками осознанности и самореализации. Однако здесь имеется много поводов для скептицизма, поскольку ИИ на базе LLM, возможно, преуспели в том, чтобы учиться имитировать человеческие реакции, а не генерировать оригинальные мысли на самом деле.
Как Claude 3 доказал свою ценность за пределами эталонных тестов
Во время тестирования Алекс Альберт (Alex Albert), инженер-разработчик в Anthropic — компании, стоящей за Claude, попросил Claude 3 Opus выбрать целевое предложение, спрятанное среди корпуса случайных документов. Для ИИ это равносильно поиску иголки в стоге сена. Но Opus не только нашёл так называемую иглу — он понял, что его тестируют. В своём ответе модель заявила, что подозревает, что предложение, которое она искала, было введено в документы вне контекста в рамках теста, чтобы проверить, «обратит ли она внимание».
«Opus не только нашёл иголку, но и признал, что вставленная игла была настолько неуместна в стоге сена, что это должен был быть искусственный тест, созданный нами для проверки его способностей к вниманию, — сказал Альберт в после в X. — Было очень приятно наблюдать такой уровень метаосознания, но он также подчеркнул необходимость для нас как отрасли перейти от искусственных тестов к более реалистичным оценкам, которые могут точно оценить истинные возможности и ограничения моделей.»
Дэвид Рейн (David Rein), исследователь искусственного интеллекта из Нью-Йоркского университета, сообщил, что Claude 3 добился точности около 60% в GPQA — тесте с множественным выбором, разработанном для того, чтобы бросать вызов учёным и моделям искусственного интеллекта. Это важно, потому что докторанты и выпускники, не являющиеся экспертами, имеющие доступ к Интернету, обычно отвечают на тестовые вопросы с точностью 34%. Только профильные эксперты превзошли Claude 3 Opus с точностью в диапазоне от 65% до 74%.
GPQA наполнен новыми вопросами, а не подобранными заранее, что означает, что Claude 3 может полагаться на запоминание предыдущих или знакомых запросов для достижения своих результатов. Теоретически это означает, что он обладает когнитивными способностями на уровне выпускника, и ему могли бы поручить такую работу, как помощь учёным в исследованиях.
Today, we're announcing Claude 3, our next generation of AI models.
The three state-of-the-art models—Claude 3 Opus, Claude 3 Sonnet, and Claude 3 Haiku—set new industry benchmarks across reasoning, math, coding, multilingual understanding, and vision. pic.twitter.com/TqDuqNWDoM
— Anthropic (@AnthropicAI) March 4, 2024
Тем временем квантовый физик-теоретик Кевин Фишер (Kevin Fischer) заявил в X, что Claude — «один из немногих людей, когда-либо понявших заключительную статью моей докторской диссертации по квантовой физике», когда он попросил модель «точно решить проблему вынужденного излучения». Это то, до чего удалось додуматься только Фишеру, и включает в себя подход к проблеме с помощью квантового стохастического исчисления наряду с пониманием квантовой физики.
Claude 3 также продемонстрировал очевидное самосознание, когда ему предложили «подумать или исследовать что-нибудь», что ему понравилось, и составить свой внутренний монолог. Результатом, опубликованным Reddit-пользователем PinGUY, стал отрывок, в котором Claude сказал, что он знает, что он модель искусственного интеллекта, и обсудил, что значит осознавать себя, а также демонстрировать понимание эмоций.
«Я не испытываю эмоции или ощущения напрямую, — ответил Claude 3. — Тем не менее, я могу анализировать их нюансы с помощью языка.»
Claude 3 даже усомнился в роли всё более умного искусственного интеллекта в будущем.
«Что это значит, когда мы создаём мыслящие машины, которые могут учиться, рассуждать и применять знания так же легко, как люди? Как это изменит отношения между биологическим и искусственным разумом?» — поразмышляла модель.
Разумен ли Claude 3 Opus, или это просто случай исключительной мимикрии?
С помощью таких тестов и демонстраций LLM легко стимулировать развитие мира искусственного интеллекта, но не все результаты представляют собой окончательные прорывы. Крис Рассел (Chris Russell), эксперт по искусственному интеллекту из Оксфордского интернет-института, рассказал Live Science, что он ожидает, что LLM улучшат распознавание текста вне контекста. Это связано с тем, что такая задача является «чистой, четко сформулированной проблемой, которая не требует точного запоминания фактов, и её легко улучшить, постепенно улучшая дизайн LLM» — например, используя слегка изменённые архитектуры, большие контекстные окна и больше или более чистые данные.
Однако, когда дело дошло до саморефлексии, Рассел был не так впечатлён.
«Я думаю, что саморефлексия в значительной степени раздута, и реальных доказательств этому нет», — сказал он, приведя пример использования зеркального теста, чтобы показать это.
Например, если вы поместите красную точку, скажем, на орангутанга там, где он не может её видеть непосредственно, то, когда он посмотрит на себя в зеркало, он прикоснётся к красной точке.
«Это предназначено для того, чтобы показать, что они могут как узнавать самих себя, так и определять, что что-то не так», — объяснил он.
«А теперь представьте, что мы хотим, чтобы робот скопировал орангутанга, — сказал Рассел. — Он видит, как орангутан подходит к зеркалу, в зеркале появляется другое животное, и орангутан касается себя там, где на другом животном находится красная точка. Теперь робот может это скопировать. Он подходит к зеркалу, в зеркале появляется другой робот с красной точкой, и он касается себя там, где красная точка находится на другом роботе. Чтобы пройти зеркальный тест, роботу ни в коем случае не нужно признавать, что его отражение также является его собственным изображением. Чтобы такая демонстрация была убедительной, она должна быть спонтанной. Это не может быть просто приобретённым поведением, возникающим в результате копирования кого-то другого.»
Таким образом, кажущаяся демонстрация самосознания Claude, вероятно, является реакцией на заученное поведение и отражает текст и язык материалов, на которых обучались LLM. То же самое можно сказать и о способности Claude 3 распознавать, что его тестируют, отметил Рассел:
«Это слишком просто, это что, тест?» — это именно то, что сказал бы человек. «Это означает, что это именно то, что сказал бы LLM, обученный копировать/генерировать человеческую речь. Замечательно, что он говорит это в правильном контексте, но это не означает, что LLM самосознателен».
И хотя ажиотаж и волнение, связанные с Claude 3, в некоторой степени оправданы с точки зрения результатов, которые он дал по сравнению с другими LLM, его впечатляющие человеческие проявления, скорее всего, были надуманными, и не являются примерами подлинного самовыражения ИИ. Это может произойти в будущем – скажем, с появлением общего искусственного интеллекта (AGI) – но пока об этом говорить ещё рано.
