Модель Anthropic продемонстрировала впечатляющие 68,8% на бенчмарке ARC-AGI-2, который оценивал способности абстрактного мышления. В минувшем году все ИИ-решения показали нулевой результат, в то время как средний балл среди 400 участников составил 60%. Стоимость выполнения задачи достигла $3,64. Данный тест, разработанный Франсуа Шолле, создателем Keras, был запущен в марте 2025 года и оценивает не знания, а способность обобщать, используя уникальные визуальные головоломки.
Параметры теста были также проверены на новом Opus 4.6, который продемонстрировал колебания результатов от 63% до 68,8% в зависимости от бюджета мышления. Оппоненты, такие как GPT-5.2 Pro, показали результаты 54,2% при стоимости около $10. Однако на графиках ARC-AGI-2 есть модели, достигшие 72%, но их результаты зависят от дополнительных систем уточнения, чего не было у Opus 4.6. Тем не менее, команда разработчиков ARC Prize сохраняет осторожность и не спешит даровать награду в $700 тысяч. Новая версия теста, ARC-AGI-3, ожидается в 2026 году с совершенно новым форматом.