벤치마크2026-05-20

AI 에이전트 성능을 측정하는 터미널 전용 벤치마크 'Terminal-Bench 2.1' 완벽 분석

스탠퍼드 대학교와 Laude Institute가 공동 개발한 'Terminal-Bench'는 AI 에이전트가 실제 터미널 환경에서 어디까지 능력을 발휘할 수 있는지를 측정하기 위한 평가 벤치마크입니다. 최신 버전 2.1은 Z.ai의 Terminal-Bench 2.0 Verified를 기반으로 최적화가 진행되어, 보다 신뢰성 높은 평가 지표를 제공하는 것을 목표로 합니다.

이 벤치마크는 소프트웨어 엔지니어링, 시스템 관리, 기계 학습, 데이터 처리, 보안 등의 영역에서 '다단계 터미널 작업'에 초점을 맞추고 있습니다. 단순한 코드 생성 능력이 아니라, 엔드투엔드(end-to-end) 달성 능력을 중시하는 점이 특징입니다. 각 작업은 독립된 Docker 환경에서 실행되며, 최종 상태를 테스트 스크립트로 검증합니다.

기존 AI 에이전트 평가의 과제

현재 많은 벤치마크에는 다음과 같은 과제가 존재합니다.

난이도 부족: 최첨단 모델 간의 성능 차이를 명확히 구별할 수 있을 만큼의 난이도가 결여되어 있습니다.
검증 메커니즘의 미비: 검증이 불충분하여, 부당한 수단이나 재현성이 없는 방법으로 작업을 클리어할 수 있습니다.
실무와의 괴리: 작업이 현실의 워크플로우에서 벗어나 있어, 실제 배포 가치를 반영하기 어렵습니다.
데이터 오염 (Data Contamination): 학습 데이터에 평가 작업이 포함되어 있는 것에 의한 과적합(overfitting) 우려가 있습니다.

Terminal-Bench 시리즈는 현실적인 컨테이너 환경, 엄격한 인간에 의한 검증, 그리고 '결과 중심'의 평가 방법을 도입하여 이러한 문제를 해결하고, 보다 신뢰할 수 있는 신호를 제공하는 것을 목표로 합니다.

벤치마크 개요와 목적

제공자: 스탠퍼드 대학교 및 Laude Institute. 공식 사이트(tbench.ai) 및 GitHub(harbor-framework/terminal-bench 등)에서 공개.
버전 이력: 1.0은 약 80개 작업을 탑재. 2025년 출시된 2.0에서는 엄선된 89개 작업을 수록했으며, 최신 2.1에서는 추가로 버그 수정과 신뢰성 향상을 도모하고 있습니다.
핵심 목적: 코드 컴파일, 모델 학습, 서버 설정, 디버깅 등 복잡하고 장시간의 현실적인 작업을 완수할 수 있는지를 평가합니다. 패턴 매칭(pattern matching)이 아니라 시스템 수준의 추론 능력, 오류로부터의 복원력, 그리고 도구 활용 능력을 측정합니다.

평가 방법과 프로세스

작업 구조

각 작업은 다음과 같은 요소로 구성되어 있습니다.

자연어에 의한 지시
사전 설정된 Docker 환경
최종 상태를 검증하는 테스트 스크립트 (실행 명령이 아닌 '결과'로 판정하는 Outcome-driven 방식)
인간이 작성한 참조 해답
제한 시간

평가 흐름

에이전트는 컨테이너 내에서 쉘 명령어나 도구를 사용하여 작업을 수행합니다. Harbor 프레임워크를 통해 실행되며, Codex CLI, Terminus 2, OpenHands 등 다양한 에이전트 스캐폴드(scaffold, 프레임워크)를 지원합니다. 재현성을 확보하기 위해 동일한 작업을 여러 번 실행하여 성공률(Resolution Rate)을 산출하고, 신뢰 구간(confidence interval)을 보고합니다.

주요 모델의 평가 결과 (2.0 기반 분석)

공개된 리더보드 및 논문 데이터에 따르면, 최첨단 모델과 최적화된 에이전트의 조합에 의한 성공률은 대략 50%~90% 범위에 있습니다.

톱 클래스 (특정 에이전트 + Claude Opus 4.7 / GPT-5.5 계열 등): 성공률 80% 이상 달성.
기타 상용 최첨단 모델: 50%~70% 정도.
우수한 오픈 웨이트(open-weight) 모델: 약 36%.
소형 모델: 약 15%.

분석으로부터 얻은 인사이트

모델의 성능이 지배적: 에이전트의 스캐폴드(프레임워크)보다 기반이 되는 모델의 선택이 결과에 큰 영향을 미칩니다.
리소스의 영향: 타임아웃(timeout) 시간을 연장함으로써 성공률이 크게 향상되는 경향이 있어, 일부 성능 차이는 '능력'이 아니라 '계산 리소스(시간)'에 기인함을 시사합니다.
여전히 높은 벽: 어떤 모델로도 해결할 수 없는 작업이 존재하여, 벤치마크로서의 식별 능력이 유지되고 있습니다.

결론

Terminal-Bench 2.1은 검증 프로세스의 개선과 작업 품질의 향상을 통해 실무 배포를 염두에 둔 엄격한 평가 기준을 제시하고 있습니다. 특히, 장시간에 걸친 다단계 작업에서 최첨단 모델의 성능 차이를 부각시키며, 개발자와 연구자에게 재현 가능한 도구와 데이터셋을 제공하고 있습니다.

향후, 2.1의 작업이 완전히 구현되고, 3.0 버전의 개발이 진행됨으로써, AI 에이전트는 보다 신뢰성 높은 '시스템 수준의 애플리케이션'으로 진화해 나갈 것으로 기대됩니다.