ARC-AGI-3 출시: AI의 '진정한 추론 능력'을 측정하는 최초의 대화형 벤치마크

ARC-AGI 시리즈 벤치마크는 ARC Prize Foundation이 유지·관리하고 있으며, 주요 AI 연구소와 학계 연구자들이 AI의 추론 능력을 측정하는 데 있어 핵심적인 지표로 활용되고 있습니다. 가장 최신의 상세한 평가 결과는 DataLearnerAI의 ARC-AGI-3 데이터셋에서 확인할 수 있습니다.

ARC-AGI란: 예시를 통해 규칙을 귀납적으로 유추하는 능력 측정

형식적으로 볼 때, ARC-AGI는 "제시된 예시들로부터 규칙을 귀납적으로 도출하는" 과제들의 집합입니다. 시스템에는 몇 가지 "입력과 출력"의 예시가 주어집니다. 각 예시는 작은 2차원 격자(그리드)로 구성되며, 각 셀에는 이산적인 값(보통 색상 번호)이 부여됩니다.

모델에게 요구되는 것은 이 예시들로부터 잠재적인 변환 규칙을 추론하고, 그 규칙을 새로운 입력에 적용해 올바른 출력을 생성하는 것입니다.

여기서 강조할 점은, 여기서 다루는 "이미지"가 자연 사진이 아닌 추상적인 격자 구조(2차원 배열)라는 사실입니다. 이 과제는 현실 세계의 의미론적 이해를 필요로 하지 않으며, 순수하게 **"구조적 귀납", "패턴의 조합", "규칙의 외삽 능력"**에 초점을 맞춥니다.

기존 벤치마크와의 결정적인 차이점

기존의 많은 벤치마크들은 대규모 학습 데이터에 유사한 문제가 포함되어 있을 경우, 모델이 "기억"에 의존해 답변을 생성하는 "데이터 오염(Data Contamination)" 문제를 안고 있었습니다. 그러나 ARC-AGI가 요구하는 것은, 알려지지 않은 규칙과 마주했을 때 현장에서 논리를 구성하는 능력입니다.

ARC-AGI-3가 개척하는 "대화형 추론"의 새 시대

ARC-AGI-3의 가장 큰 특징은 "대화형(상호작용적) 추론 벤치마크"라는 점입니다. 단순히 프롬프트를 입력해 답을 얻는 것을 넘어, 모델이 시행착오를 거치고 출력을 수정하면서 정답에 근접하는 과정을 평가할 수 있게 합니다.

이는 AI가 단순한 통계적 다음 토큰 예측기(Next Token Predictor)에서, 인간처럼 "가설을 세우고, 검증하고, 수정하는" 사고 사이클을 갖는 에이전트로 진화했는지를 측정하려는 시도라고 할 수 있습니다.