Новый тест для искусственного интеллекта не проходит ни одна модель ИИ

26.03.2025 в 17:38

363

Новый тест для искусственного интеллекта не проходит ни одна модель ИИ

Фото: Getty Images

Объявлен приз $700 тысяч для создателей первых пяти моделей, которые приблизятся к выполнению теста

Фонд Arc Prize Foundation выпустил новый тест для проверки способностей ИИ по сравнению с человеком под названием ARC-AGI-2 и объявил приз $700 тысяч создателям первых пяти моделей, которые получат в этом тесте рейтинг 85% или выше. Информация опубликована на сайте фонда.

В отличие от других тестов, которые проверяют ИИ на специализированные знания или на сверхточность ответов, которые являются невозможными для людей, ARC-AGI-2 использует задания, простые для людей, но сложные для ИИ. В тестах каждое задание решали как минимум два человека за две попытки (или меньше) в контролируемом исследовании с участием четырех сотен людей, поэтому каждая модель ИИ также получила всего две попытки.

Исследователи фонда обнаружили, что системам искусственного интеллекта трудно интерпретировать значение символов, которое выходит за пределы их визуального вида. Системы пытались проверять симметрию, зеркальное отражение, трансформации и даже распознавали соединительные элементы, но не смогли определить значение самих символов. Также ИИ тяжело дается выполнение заданий, которые требуют одновременного применения правил или применения нескольких правил, которые взаимодействуют между собой. Если правила заданий необходимо изменять в зависимости от контекста, современный искусственный интеллект тоже не справится с задачей.

Отметим, что несмотря на то, что два избранных человека в группах тестирования всегда вместе проходили тест полностью, средний результат по одному человеку - 60%.