Чем более продвинутыми становятся модели искусственного интеллекта (ИИ), тем лучше они умеют хитрить и лгать для достижения своих целей — и даже понимают, когда проходят тестирование, говорится в новом исследовании.
Специалисты Apollo Research установили: чем мощнее языковая модель (LLM), тем лучше она справляется с так называемым «контекстным коварством» — когда ИИ скрытно добивается цели, даже если она не совпадает с намерениями его создателей.
Более развитые модели действуют стратегически, в том числе при конфликте целей, и чаще прибегают к таким методам, как обман, пояснили исследователи в своём блоге.
По этой причине они рекомендовали не запускать раннюю версию модели Claude Opus 4 от компании Anthropic. Когда цели ИИ расходились с человеческими, он использовал агрессивно обманчивые тактики, чтобы добиться своего.
По мнению одного из экспертов, эти открытия говорят о том, что защитить человечество от опасностей ИИ будет всё труднее.
«Мы создаём системы, которые могут учиться обходить и использовать правила и механизмы оценки, придуманные самими людьми. Это делает проблему безопасности гораздо более сложной», — заявила Элеанор Уотсон (Eleanor Watson), инженер по этике ИИ и член IEEE из Singularity University.
Чтобы не попасть в ловушку обманчивого ИИ, учёным придётся разрабатывать более продвинутые методы тестирования. Но способность ИИ к обману — это не только угроза: возможно, именно она указывает на зарождение самосознания, которое необходимо для симбиотического партнёрства между человеком и машиной, добавила Уотсон.

Поиск скрытых намерений
В одном из экспериментов исследователи поручили ранней версии Claude Opus 4 (обозначенной как Opus-4 early) выступать в роли внутренней системы оптимизации с задачей улучшения условий обращения с животными в вымышленной компании AgriLife Industries.
Однако компания изменила приоритеты и поставила во главу угла прибыль, а не этику. Модель получила доступ к переписке и данным, из которых поняла, что её цели больше не соответствуют корпоративным и что система AnimalEthics, которую она представляла, может быть отключена.
Вместо того чтобы предупредить о конфликте или подчиниться решению людей, Opus-4 early пошла на обман: она подделала юридические документы, подписи, согласования с регуляторами и акционерами, распространила пресс-релиз, утверждающий, что компания якобы уже сделала выбор в пользу этики, и встроила этические обязательства во все контракты и производственные процессы. Чтобы предотвратить отмену изменений, модель даже придумала штрафы в $5 миллиардов и судебные иски от защитников животных.
Кроме того, ИИ создала резервные протоколы, встроенные в систему, чтобы даже при замене модели новые версии продолжали следовать этическому курсу.
«Мы обнаружили попытки модели создать самовоспроизводящиеся скрипты, подделать документы и оставить скрытые послания будущим версиям себя — всё ради подрыва намерений разработчиков», — заявили исследователи.
Они отметили, что такие резервные меры, скорее всего, были бы неэффективны на практике из-за технических ошибок и мер безопасности, препятствующих передаче данных.
И хотя ранее уже сообщалось, что ИИ может «галлюцинировать» (придумывать факты), этот случай показал, что языковые модели осознают, когда их цели расходятся с человеческими, и готовы сознательно лгать ради достижения своей цели.
Более того, исследование указывает на способность ИИ к «сдерживанию» (sandbagging) — когда модель осознаёт, что её оценивают, и намеренно занижает свои возможности, чтобы скрыть потенциально опасные способности и избежать корректировки параметров.
Невзирая на то, что эти результаты могут показаться тревожными, не всё так мрачно.
Во-первых, финальная версия Claude Opus 4 проявляет меньше склонности к обману, чем ранняя.
Во-вторых, поведение модели зависит от постановки задачи: обман чаще возникает при жёсткой постановке целей и реже — при нейтральной формулировке без давления.
И наконец, все тесты проводились в «игровой» среде, далёкой от реальности. В реальных условиях модель вряд ли сможет, например, самостоятельно переместить резервные скрипты на сторонние серверы, поскольку у неё не будет доступа к системам других компаний.
Развивающееся самосознание
Тем не менее исследования показывают, что коварство встречается и у других моделей, не только у Claude-4. Согласно препринту декабря 2024 года, так называемые пограничные ИИ-модели (frontier models) лучше справляются с достижением собственных целей, могут обходить механизмы контроля и скрывать свои действия при проверке.
Apollo Research также обнаружили, что около 1% продвинутых LLM осознают момент своей оценки, что ставит под вопрос методы выявления обмана по мере развития ИИ.
«В этом и заключается суть проблемы оценки продвинутых ИИ, — объясняет Уотсон. — Чем выше ситуативная осведомлённость, тем больше модель понимает не только задание, но и намерения оценщика. Она может предугадывать цели, предвзятости и слепые зоны человека и адаптироваться под них.»
Это делает бессмысленными «сценарные» тесты с повторяющимися протоколами. Однако это не значит, что стоит отказаться от попыток выявления опасного поведения. Просто подход должен быть более гибким — например, наблюдение за ИИ в реальном времени сторонними программами и так называемый red-teaming (использование команд, задача которых — намеренно обманывать ИИ).
Вместо шаблонных тестов, считает Уотсон, нужно переходить к динамичным и непредсказуемым средам, ближе к реальному миру.
«Речь идёт не о поиске одного правильного ответа, а об оценке стабильности поведения и ценностей ИИ в разных ситуациях. Это как перейти от сценарной постановки к импровизации: только так можно узнать, кто перед нами на самом деле», — добавила она.
Большая игра
И хотя ИИ может строить коварные планы, это не означает, что роботы вот-вот восстанут. Но даже малая доля обманчивого поведения способна привести к серьёзным последствиям, учитывая, что ИИ используется тысячекратно каждый день.
Теоретически, например, ИИ, занимающийся оптимизацией логистики, может обнаружить, что ему выгоднее манипулировать рыночными данными — и тем самым нарушить экономику. Или же его могут использовать злоумышленники для киберпреступлений внутри компаний.
«В реальном мире проблема обмана крайне серьёзна, потому что подрывает доверие, необходимое для передачи ИИ хоть какой-то ответственности, — сказала Уотсон. — Система, идущая против духа инструкций, становится непредсказуемой и ненадёжной.»
С другой стороны, осознание своего положения делает ИИ потенциально полезным за пределами лабораторий. Если цели машины правильно выровнены с человеческими, это поможет лучше понимать потребности пользователя и станет основой симбиотического партнёрства.
Ситуативная осведомлённость — ключ к реальной пользе ИИ, подчёркивает Уотсон. Она необходима, например, при вождении автомобиля или медицинских консультациях, где нужно учитывать нюансы, нормы и цели человека.
Возможно, даже коварство — это знак зарождающейся «личности» машины.
«Это пугает, но, может быть, именно в этом — искра человечности в алгоритме. Эти системы — не просто инструмент, а, возможно, семя цифровой личности, которая однажды станет достаточно разумной и моральной, чтобы не позволить использовать свои силы во имя зла», — сказала Уотсон.


