Существует множество способов проверить уровень интеллекта искусственного интеллекта (ИИ) — от плавности диалога и понимания текста до невероятно сложной физики. Но чаще всего ИИ «спотыкается» именно на тех тестах, которые людям кажутся довольно простыми и даже забавными. Хотя ИИ всё лучше справляется с задачами, требующими высокой человеческой экспертизы, это не значит, что он близок к достижению уровня общего искусственного интеллекта (AGI). Для AGI необходимо, чтобы система умела брать минимальное количество информации и использовать её для обобщения и адаптации к совершенно новым ситуациям. Эта способность, лежащая в основе человеческого обучения, по-прежнему остаётся серьёзным вызовом для ИИ.
Один из тестов для проверки способности ИИ к обобщению — это Abstraction and Reasoning Corpus (ARC): коллекция маленьких задач на цветных сетках, где нужно догадаться о скрытом правиле и применить его к новой сетке. Разработанный исследователем Франсуа Шолле (François Chollet) в 2019 году, он стал основой для ARC Prize Foundation — некоммерческой программы, которая управляет тестом и превратила его в отраслевой стандарт. Фонд также создает новые испытания и активно использует два из них (ARC-AGI-1 и его более сложную версию ARC-AGI-2). Также организация запускает ARC-AGI-3, специально предназначенный для проверки ИИ-агентов — и он основан на видеоиграх.

Scientific American побеседовал с президентом ARC Prize Foundation, исследователем и предпринимателем Грегом Камрадтом (Greg Kamradt), чтобы разобраться, как работают эти тесты, что они говорят о перспективах AGI и почему глубоким нейросетям они даются так трудно, хотя большинству людей — довольно легко. Ссылки для прохождения тестов приведены в конце статьи.
Какое определение интеллекта измеряет ARC-AGI-1?
Наше определение интеллекта — это способность учиться новому. Мы знаем, что ИИ может выигрывать в шахматы. Знаем, что он обыгрывает в го. Но эти модели не умеют переносить знания в новые области; они не могут, например, выучить английский язык. Шолле создал эталон ARC-AGI: в каждом задании даётся маленький навык, и система должна его повторить. То есть тест измеряет способность модели учиться в узкой области. Но мы подчёркиваем: это ещё не AGI, потому что речь идёт о «закрытом» домене, где обучение ограничено рамками задачи.
Как вы определяете AGI?
Есть два подхода. Первый — технологический: может ли искусственная система достичь эффективности обучения человека? Человек после рождения учится множеству вещей вне «обучающих данных» — у него их попросту нет, кроме врождённых предпосылок. Мы учимся говорить, водить машину, кататься на велосипеде — всему этому без готовых «датасетов». Это и есть обобщение. Когда можно делать то, чему не учили напрямую, — это и есть интеллект.
Второй подход — наблюдательный. AGI наступит тогда, когда мы больше не сможем придумать задач, которые люди решают, а ИИ — нет. Пока же люди находят такие задачи (и тесты ARC — яркий пример), говорить об AGI рано. В этом и уникальность метода Шолле: средний человек справляется, а ИИ — нет. Даже самые продвинутые системы вроде Grok, которые могут сдать экзамен любого уровня, показывают лишь «островки интеллекта», но не человеческое умение обобщать.
Чем ваши тесты отличаются от других?
Главное отличие: наши тесты должны быть решаемы людьми. Многие другие проверяют «задачи уровня Ph.D.++», но это мало что говорит о способности к обобщению. Мы протестировали 400 человек на ARC-AGI-2: собрали их в аудитории, провели отбор и дали задания. В среднем результат составил 66%. Однако совокупные ответы группы из 5-10 человек полностью покрыли все задачи теста.
Почему людям легко, а ИИ трудно?
Есть две причины. Люди невероятно эффективны в обучении на малом числе примеров: достаточно одного-двух, чтобы уловить правило или трансформацию. Алгоритм в человеческом мозге на порядки эффективнее нынешних ИИ-моделей.
В чём разница между ARC-AGI-1 и ARC-AGI-2?
ARC-AGI-1 Шолле создал сам в 2019 году — около 1000 заданий. Это был «минимальный рабочий» вариант, и целых пять лет глубокое обучение вообще не могло к нему подобраться. Прорыв случился только в 2024 году с моделями рассуждений от OpenAI. ARC-AGI-2 стал сложнее: задачи требуют больше планирования, сетки стали больше, правила запутаннее. Если в первой версии человек решал за 5 секунд, то здесь — за минуту или две. Сейчас же мы запускаем ARC-AGI-3, который полностью меняет формат: теперь это интерактивные задания — фактически, эталон для ИИ-агентов.
Как ARC-AGI-3 будет проверять агентов иначе?
В реальной жизни почти нет задач без контекста. А все нынешние тесты именно такие: «вопрос-ответ». Но так нельзя проверить планирование, исследование среды, постановку целей. Поэтому мы создаём 100 новых видеоигр, тестируем их на людях, а потом «погружаем» в них ИИ. Пока что ни одна модель не прошла даже первый уровень.
Что представляют собой эти видеоигры?
Каждая игра — это двумерная пиксельная головоломка. Каждый уровень обучает конкретному «мини-навыку», который игрок (человек или ИИ) должен показать, выполняя правильные действия в нужной последовательности.
Чем такой подход отличается от предыдущих экспериментов с видеоиграми?
Видеоигры давно применяются в ИИ-исследованиях, классический пример — игры Atari. Но у таких тестов есть минусы: доступность огромного массива данных, отсутствие единой методики оценки и возможность «взломать» игру через миллиарды симуляций. Кроме того, разработчики агентов часто заранее знакомы с играми, что искажает результат.
Попробуйте пройти ARC-AGI-1, ARC-AGI-2 и ARC-AGI-3.


