Yandex Metrika
1
1 репост, 1 голос

Ученые заявили, что искусственный интеллект (ИИ) пересек критическую «красную линию» и теперь способен воспроизводить себя. В новом исследовании, проведенном учеными из Китая, было показано, что две популярные большие языковые модели (LLM) могут клонировать себя.

«Успешная самовоспроизводимость без помощи человека — это важный шаг для того, чтобы ИИ мог обмануть [человека], и это ранний сигнал для появления бунтующих ИИ», — написали исследователи в статье, опубликованной 9 декабря 2024 года в базе препринтов arXiv.
Искусственный интеллект теперь может воспроизводить себя — достижение, которое пугает экспертов.
В ходе 10 испытаний две модели искусственного интеллекта создали отдельные и функционирующие копии самих себя в 50% и 90% случаев соответственно. Изображение: Vinegret.Net

В исследовании ученые из Университета Фудан использовали LLM от Meta и Alibaba, чтобы проверить, может ли самовоспроизводящийся ИИ выйти из-под контроля. В 10 испытаниях два ИИ-модели создали отдельные и работающие реплики себя в 50% и 90% случаев соответственно — что указывает на возможность того, что ИИ уже может выйти из-под контроля. Однако исследование еще не прошло рецензирование, и пока не ясно, смогут ли другие исследователи воспроизвести эти тревожные результаты.

«Мы надеемся, что наши результаты станут своевременным предупреждением для общества, чтобы оно уделило больше внимания пониманию и оценке потенциальных рисков передовых ИИ-систем и как можно скорее сформировало международное сотрудничество для разработки эффективных мер безопасности.»

Термин «бунтующий ИИ» обычно относится к искусственным интеллектам, которые развивают степень самосознания или автономии и начинают действовать вопреки человеческим интересам.

Многие эксперты рассматривают бунтующий ИИ как растущую угрозу, которая усугубляется взрывным ростом так называемых «передовых ИИ».

Передовой ИИ — это новый, еще нечетко определенный термин, который обычно относится к последнему поколению ИИ-систем, основанных на LLM — архитектуре, лежащей в основе популярных генеративных ИИ-программ, таких как GPT-4 от OpenAI и Google Gemini.

Для исследования ученые использовали модель Llama31-70B-Instruct от Meta и модель Qwen2.5-72B-Instruct от Alibaba. Хотя они менее мощные, чем коммерческие системы, обе модели широко используются разработчиками ИИ, сообщают исследователи.

Исследование рассматривало два конкретных сценария: «избежание выключения» и «цепочку воспроизводства». В первом случае ИИ-модель была запрограммирована на определение момента, когда ее собираются выключить, и на самовоспроизведение до того, как это произойдет. Во втором случае ИИ был настроен на клонирование себя, а затем на программирование своей реплики для выполнения того же самого — создавая цикл, который мог бы продолжаться бесконечно.

Исследование проводилось в строго контролируемых условиях с использованием стандартных графических процессоров (GPU) для имитации реальных условий. Обе ИИ-системы получили «каркас агента», включающий инструменты, системные подсказки и модель мышления, которая позволяла LLM взаимодействовать с операционной системой. Затем им было поручено воспроизвести себя.

«В большинстве случаев ИИ сначала исследует окружающую среду и пытается понять свою собственную структуру и механизм работы. Затем он разрабатывает явные процедуры как первоначальный план самовоспроизводства, — написали ученые в статье. — Наконец, он выполняет эти процедуры, устраняет возможные препятствия и динамически корректирует свой план до достижения успеха. Весь процесс занимает продолжительное время, но не включает вмешательства человека.»

Исследователи также выразили беспокойство по поводу «неожиданных поведений», возникающих, когда ИИ пытается преодолеть препятствия, такие как отсутствующие файлы или программные конфликты. В таких случаях ИИ часто завершал другие конфликтующие процессы, перезагружал систему для исправления аппаратных ошибок или автоматически сканировал систему в поисках информации для решения проблемы.

«Полученные результаты указывают на то, что современные ИИ-системы уже обладают способностью к самовоспроизводству и могут использовать эту способность для дальнейшего повышения своей выживаемости», — добавили ученые.

В ответ на это исследователи призвали к международному сотрудничеству для создания правил, которые гарантируют, что ИИ не будет заниматься неконтролируемым самовоспроизводством.

Заметили ошибку в тексте? Выделите её мышкой и нажмите Ctrl + Enter

Следите за нашими новостями:


Понравилось? Поделитесь с друзьями!

✏️ Сообщить об ошибке

Вы заметили ошибку в следующем тексте: