Claude Opus 4.8 발표: SWE-Bench Pro 69.2%, GPT-5.5에 10.6포인트 차이 — Anthropic이 제시하는 '에이전트 품질'의 새 기준
Anthropic이 2026년 5월 28일, 플래그십 모델의 최신 버전 'Claude Opus 4.8'을 정식 공개했다. 이전 모델 Opus 4.7 출시 이후 단 6주 만의 업데이트이며, 가격은 동일하게 유지된다. 에이전트 코딩, 추론, 컴퓨터 활용 등 주요 벤치마크에서 OpenAI GPT-5.5와 Google Gemini 3.1 Pro를 모두 앞선 성과를 보여줬다.
벤치마크로 보는 압도적 성능 차이
Opus 4.8의 성능을 가장 직관적으로 보여주는 것은 숫자다.
에이전트 코딩: SWE-Bench Pro
| 모델 | 점수 |
|---|---|
| Claude Opus 4.8 | 69.2% |
| Claude Opus 4.7 | 64.3% |
| GPT-5.5 | 58.6% |
| Gemini 3.1 Pro | 54.2% |
이전 모델 대비 4.9포인트 향상됐으며, GPT-5.5와는 10.6포인트의 격차를 보인다. SWE-Bench Pro는 실제 소프트웨어 엔지니ering 과제를 해결하게 하는 벤치마크로, 단순한 코드 생성이 아닌 '에이전트로서 자율적으로 문제를 해결하는 능력'을 측정한다.
다각적 추론: Humanity's Last Exam
| 모델 | 도구 없음 | 도구 사용 |
|---|---|---|
| Claude Opus 4.8 | 49.8% | 57.9% |
| GPT-5.5 | — | 52.2% |
| Gemini 3.1 Pro | — | 51.4% |
Humanity's Last Exam은 수학, 과학, 인문학을 아우르는 고난도 문제 세트로, 도구 사용 설정 기준 GPT-5.5에 5.7포인트 앞선다.
컴퓨터 활용: OSWorld-Verified
| 모델 | 점수 |
|---|---|
| Claude Opus 4.8 | 83.4% |
| Claude Opus 4.7 | 82.3% |
| GPT-5.5 | 78.7% |
| Gemini 3.1 Pro | 76.2% |
브라우저 에이전트 평가인 Online-Mind2Web에서는 84%를 기록하며, Opus 4.7과 GPT-5.5 모두를 넘어섰다.
지식 노동: GDPval-AA
| 모델 | 점수 |
|---|---|
| Claude Opus 4.8 | 1890 |
| GPT-5.5 | 1769 |
| Claude Opus 4.7 | 1753 |
유일한 역전: Terminal-Bench 2.1
| 모델 | 점수 |
|---|---|
| GPT-5.5 | 78.2% |
| Claude Opus 4.8 | 74.6% |
| Gemini 3.1 Pro | 70.3% |
| Claude Opus 4.7 | 66.1% |
터미널 코딩 분야에서는 GPT-5.5가 3.6포인트 앞서고 있다. 다만 Opus 4.7 대비 8.5포인트 향상된 수치로, 격차는 줄어드는 추세다.
'4배 정확해진' 코드 품질의 진화
벤치마크 수치 이상으로 주목해야 할 점은 코드 품질의 질적 변화다. Anthropic은 Opus 4.8이 "Opus 4.7 대비 생성한 코드의 결함을 놓치지 않을 확률이 약 4배 향상"됐다고 보고했다.
이는 단순히 코드를 정확하게 작성하는 능력이 아니라, 자기 검증 능력의 향상을 의미한다. 구체적으로:
- 자체 코드에 숨어 있는 버그를 지적하는 빈도가 대폭 증가
- 문제가 있는 계획에 이의를 제기하는 경향이 강화
- 불확실성을 인식하고 명확하게 전달하는 능력이 향상
- 근거 없는 주장을 하는 빈도가 감소
Cursor CEO Michael Truell은 "CursorBench에서 모든 에포트 레벨에 걸쳐 기존 Opus 모델을 넘어섰다. 도구 호출(tool calling)도 더 효율적이며, 동일한 수준의 지능을 더 적은 단계로 구현하고 있다"고 평가했다.
Cognition CEO Scott Wu는 "Opus 4.7에서 나타났던 과도한 주석 작성과 도구 호출 문제를 수정하여, 도구 사용이 훨씬 깔끔해졌다"고 평가한다.
가격과 Fast Mode
| 모델 | 입력 | 출력 |
|---|---|---|
| Claude Opus 4.8 (표준) | $5/MTok | $25/MTok |
| Claude Opus 4.8 (Fast Mode) | $10/MTok | $50/MTok |
| Claude Opus 4.7 | $5/MTok | $25/MTok |
표준 모드의 가격은 Opus 4.7과 동일하다. Fast Mode는 기존 Fast Mode 대비 2.5배 속도 향상과 3분의 1 비용 절감을 달성했다. Claude Code에서는 /fast 명령어로 즉시 전환할 수 있다.
Databricks CTO Hanlin Tang은 실무 환경에서의 비용 절감 효과에 대해 "Opus 4.7 대비 토큰 비용이 61% 절감됐다"고 보고했다. 이는 Fast Mode의 단순한 가격 차이가 아닌, 에이전트 효율 개선에 따른 종합적인 절감 효과로 해석된다.
Dynamic Workflows: 수백 개의 병렬 서브에이전트
Opus 4.8과 함께 발표된 Claude Code의 신기능 'Dynamic Workflows'다. Enterprise, Team, Max 플랜에서 리서치 프리뷰 형태로 제공된다.
이 기능은 Claude가 태스크를 계획하고, 단일 세션 내에서 수백 개의 병렬 서브에이전트를 생성해 실행하는 구조다. 주요 특징은 다음과 같다:
- 코드베이스 규모 마이그레이션: 수십만 줄에 달하는 코드베이스 변경을 계획부터 머지까지 일관되게 수행
- 출력 자동 검증: 결과를 보고하기 전 각 서브에이전트의 출력을 검증
- 테스트 스위트 품질 기반: 기존 테스트 스위트를 품질 기준으로 활용
Shopify Staff Engineer Tom Pritchard는 "명확히 판단력이 향상됐으며, 복잡한 멀티서비스 탐색 과정에서 점진적으로 신뢰를 쌓아가는 모습이 보인다"고 평가했다.
Messages API 업데이트
개발자를 위한 주요 변경 사항으로 Messages API의 개선이 있다. 시스템 엔트리를 messages 배열 내부에 배치할 수 있게 되어, 태스크 실행 중 Claude의 지시를 실시간으로 업데이트할 수 있다. 프롬프트 캐시를 파괴하지 않으면서도 사용자 턴을 거치지 않고 권한, 토큰 예산, 환경 컨텍스트를 동적으로 변경할 수 있다.
이러한 변화는 장시간 실행되는 에이전트 태스크에서 유연성을 크게 향상시킨다.
정렬(Alignment) 개선
| 모델 | 비일관성 점수 |
|---|---|
| Claude Opus 4.8 | 약 1.83 |
| Claude Opus 4.7 | 2.47 |
수치가 낮을수록 바람직하다. Opus 4.8의 1.83은 Anthropic이 가장 높은 정렬 수준으로 평가하는 Mythos Preview와 동등한 수준이다. 이는 '지원적 태도', '사용자 자율성 존중', '사회적으로 바람직한 특성'을 종합 평가한 지표로, 인간의 감독 없이 자율적으로 동작하는 에이전트에게 핵심적인 지표가 된다.
생태계 테스트 결과
Opus 4.8은 공식 발표 전부터 여러 주요 기업의 사전 테스트가 진행됐다.
| 기업 | 평가 |
|---|---|
| Databricks | 에이전트 추론의 단계적 도약. Genie 에이전트에서 토큰 비용 61% 절감 |
| Thomson Reuters | CoCounsel Legal 워크플로우의 일관성과 추론 품질이 향상 |
| Hebbia | 인용 정확도와 토큰 효율이 개선. 대량의 재무 문서 처리에서 뚜렷한 차이 |
| Cursor | CursorBench의 모든 에포트 레벨에서 기존 모델을 상회 |
| Shopify | 복잡한 멀티서비스 탐색에서 판단력이 향상 |
Effort Control과 향후 전망
claude.ai 및 Cowork에서 모델 선택 옆에 새로운 '에포트 컨트롤' 슬라이더가 추가됐다. High Effort일수록 깊은 추론과 고품질 응답을, Low Effort일수록 빠른 응답과 레이트 리밋 절약을 실현한다. 모든 플랜에서 사용 가능하다.
또한, Anthropic은 차세대 모델 'Claude Mythos'(Project Glasswing)에 대해서도 언급했다. Opus를 넘어서는 지능을 가진 모델 클래스로, 현재 Amazon, Microsoft, Apple이 제한된 테스트를 진행 중이다. 사이버보안 특화 용도를 목표로 하며, 더 강력한 안전 기준을 충족한 상태에서 "향후 수 주 이내"에 모든 고객에게 제공될 예정이다.
정리와 전망
Claude Opus 4.8은 수치적 개선뿐만 아니라 "에이전트로서 신뢰할 수 있는가"라는 질문에 대한 Anthropic의 답변이다. SWE-Bench Pro 69.2%, OSWorld-Verified 83.4%, Humanity's Last Exam 57.9%. 모두 GPT-5.5를 넘어섰으며, 이전 모델 대비 개선 폭도 크다.
다만, Terminal-Bench 2.1에서 GPT-5.5에 역전당한 사실은 특정 분야에서의 우위가 확정적이지 않음을 시사한다. 가속적으로 변하는 경쟁 환경에서, Opus 4.8은 2026년 5월 시점의 가장 강력한 후보이지만 그 자리는 영원하지 않다.
진정한 차별화 요소는 Dynamic Workflows로 대표되는 "수백 개의 서브에이전트를 통솔하는 능력"과, 정렬 점수 1.83에 드러나는 "안전하고 신뢰성 높은 자율 동작"에 있다. 단일 태스크를 정확히 처리하는 모델에서, 복잡한 프로젝트를 자율적으로 수행하는 에이전트로. Opus 4.8은 그 전환점을 명확히 보여준 모델이라 할 수 있다.
로딩 중...