SWE-bench Verified 2026 최신 랭킹: 90개 AI 모델 코딩 성능 완벽 분석
SWE-bench Verified는 AI 코딩 능력을 측정하는 벤치마크 중 가장 신뢰할 수 있는 지표 중 하나입니다.
이 벤치마크는 500개의 실제 GitHub 이슈를 인간 어노테이터가 검증한 서브셋으로 구성되어 있습니다. Django, Flask, scikit-learn 등 오픈소스 프로젝트에서 추출되어 현실 세계의 소프트웨어 엔지니어링 태스크를 반영합니다.
2026년 5월 기준, 90개 모델이 이 벤치마크에서 평가되었습니다. 최신 결과를 정리합니다.
2026년 5월 기준 상위 10개 모델
| 순위 | 모델 | 개발사 | 점수 | 가격 (입력/출력 per 1M) | 라이선스 |
|---|---|---|---|---|---|
| 1 | Claude Mythos Preview | Anthropic | 93.9% | 비공개 | Closed |
| 2 | Claude Opus 4.7 (Adaptive) | Anthropic | 87.6% | $5.00 / $25.00 | Closed |
| 3 | GPT-5.3 Codex | OpenAI | 85.0% | 비공개 | Closed |
| 4 | Claude Opus 4.5 | Anthropic | 80.9% | 비공개 | Closed |
| 5 | Claude Opus 4.6 | Anthropic | 80.8% | $5.00 / $25.00 | Closed |
| 5 | DeepSeek V4 Pro (Max) | DeepSeek | 80.6% | $1.74 / $3.48 | Open |
| 5 | Gemini 3.1 Pro | Google DeepMind | 80.6% | $2.50 / $15.00 | Closed |
| 8 | Kimi K2.6 | Moonshot AI | 80.2% | $0.95 / $4.00 | Open |
| 8 | MiniMax M2.5 | MiniMax | 80.2% | $0.30 / $1.20 | Open |
| 10 | GPT-5.2 | OpenAI | 80.0% | $1.25 / $10.00 | Closed |
분석: 무슨 일이 일어났나?
1. Anthropic의 압도적 우위
상위 5개 모델 중 4개가 Anthropic 제품입니다. 특히 Mythos Preview의 93.9%라는 점수는 2위인 Opus 4.7(87.6%)에 6.3포인트 차이를 벌리고 있습니다.
Anthropic의 강점은 단일 벤치마크에 특화된 결과가 아닙니다. SWE-bench, GPQA Diamond, HLE 등 여러 벤치마크에서 상위권을 유지하고 있어 범용 아키텍처의 견고함을 보여줍니다.
2. 중국 모델의 부상
2025년 SWE-bench에서는 중국 모델이 상위 10에 거의 진입하지 못했습니다. 그러나 2026년 5월 상황은 크게 변화했습니다.
| 모델 | 개발사 | 점수 | 순위 |
|---|---|---|---|
| DeepSeek V4 Pro (Max) | DeepSeek | 80.6% | 5위 |
| Kimi K2.6 | Moonshot AI | 80.2% | 8위 |
| MiniMax M2.5 | MiniMax | 80.2% | 8위 |
| Qwen3.6 Plus | Alibaba | 78.8% | 12위 |
| MiMo-V2-Pro | Xiaomi | 78.0% | 13위 |
| GLM-5 | Zhipu AI | 77.8% | 15위 |
상위 10에 3개의 중국 모델이 진입했으며, DeepSeek V4 Pro는 Opus 4.6 및 Gemini 3.1 Pro와 동률로 5위를 달성했습니다.
주목할 점은 MiniMax M2.5입니다. $0.30/$1.20라는 저렴한 가격으로 80.2%를 달성하여, 상위 10 중 가장 비용 효율이 높은 모델이 되었습니다.
3. OpenAI의 고전
GPT-5.2는 80.0%로 10위에 머물렀습니다. GPT-5.3 Codex는 85%로 3위이지만, 이는 코딩 특화 모델이며 범용 모델이 아닙니다. 범용 모델로서의 GPT-5.2는 DeepSeek V4 Pro나 Kimi K2.6에 추월당한 상황입니다.
4. Google의 위치
Gemini 3.1 Pro가 80.6%로 동률 5위입니다. Google은 프론티어급 성능을 유지하고 있지만 두드러지지 않습니다. 다음 달 출시 예정인 Gemini 3.5 Pro에서 얼마나 만회할 수 있을지 주목됩니다.
가격 대비 성능 분석
SWE-bench 점수와 가격의 관계를 분석하면, 비용 대비 성능의 우위가 명확해집니다.
| 모델 | 점수 | 입력/1M | 출력/1M | 점수/달러 (출력) |
|---|---|---|---|---|
| MiniMax M2.5 | 80.2% | $0.30 | $1.20 | 66.8 |
| DeepSeek V4 Pro (Max) | 80.6% | $1.74 | $3.48 | 23.2 |
| Kimi K2.6 | 80.2% | $0.95 | $4.00 | 20.1 |
| GPT-5.2 | 80.0% | $1.25 | $10.00 | 8.0 |
| Gemini 3.1 Pro | 80.6% | $2.50 | $15.00 | 5.4 |
| Claude Sonnet 4.6 | 79.6% | $3.00 | $15.00 | 5.3 |
| Claude Opus 4.6 | 80.8% | $5.00 | $25.00 | 3.2 |
| Claude Opus 4.7 | 87.6% | $5.00 | $25.00 | 3.5 |
MiniMax M2.5의 비용 효율성은 압도적입니다. Opus 4.6과 거의 동등한 점수(80.2% vs 80.8%)를 출력 가격 기준 20분의 1 이하로 달성했습니다.
다만, SWE-bench는 어디까지나 하나의 벤치마크입니다. 추론 능력(HLE), 추상적 문제 해결(ARC-AGI-2), 수학(FrontierMath)에서는 다른 결과가 나올 수 있다는 점에 유의해야 합니다.
오픈소스 vs 클로즈드
90개 모델의 라이선스별 분포는 다음과 같습니다.
| 라이선스 | 상위 10 | 상위 20 | 상위 50 | 전체 90 |
|---|---|---|---|---|
| Closed | 7 | 12 | 25 | 약 50 |
| Open | 3 | 8 | 25 | 약 40 |
상위 10에 3개의 오픈소스 모델(DeepSeek V4 Pro, Kimi K2.6, MiniMax M2.5)이 포함되었습니다. 2025년에는 상위 10에 오픈소스 모델이 거의 없었음을 고려하면, 극적인 변화입니다.
벤치마크의 한계
SWE-bench Verified의 평가 대상은 주로 Python 오픈소스 프로젝트입니다. 따라서 높은 점수를 기록해도 다음이 보장되지는 않습니다:
- 특정 코드베이스에서의 성능: 개별 프로젝트에서 동등한 성능이 나오지 않을 수 있습니다.
- 비Python 언어에서의 성능: JavaScript, TypeScript, Go, Rust 등에서는 결과가 다를 수 있습니다.
- 장기적 태스크: 단일 이슈 해결을 평가하는 것이며, 수일~수주에 걸친 프로젝트 수행 능력은 측정하지 않습니다.
- 창의적 코딩: 새 기능 설계 및 구현은 버그 수정과는 다른 능력을 요구합니다.
2026년 하반기 전망
SWE-bench Verified 점수는 빠르게 상한선에 접근하고 있습니다. 93.9%(Mythos)는 500문제 중 469문제 이상을 정답으로 푼 계산입니다. 나머지 31문제는 인간 어노테이터가 '해결 가능'으로 판단했지만, 현재 모델로는 풀기 어려운 난제입니다.
향후 프론티어는 다음과 같은 영역이 될 것으로 예상됩니다:
- SWE-bench Pro: 더 높은 난이도의 서브셋으로 평가
- Terminal-Bench 2.1: 터미널 기반 에이전트 태스크
- 멀티파일, 멀티스텝의 장기 프로젝트 수행 능력
결론
SWE-bench Verified 2026 결과는 AI 코딩 세계에서 세 가지 구조적 변화를 보여줍니다.
첫째, Anthropic이 코딩 분야의 왕좌를 확립했습니다. Mythos의 93.9%라는 점수는 압도적입니다.
둘째, 중국 모델이 프론티어 수준에 도달했습니다. DeepSeek, Kimi, MiniMax가 80% 초과를 달성하며, GPT-5.2 및 Gemini 3.1 Pro와 어깨를 나란히 하고 있습니다.
셋째, 비용 효율성의 극적인 개선입니다. 매우 저렴한 MiniMax M2.5가 80.2%를 달성한 것은 AI 코딩의 민주화를 의미합니다.
SWE-bench Verified는 하나의 지표에 불과하지만, AI가 현실 세계의 소프트웨어 엔지니어링 문제를 얼마나 해결할 수 있는지를 측정하는 척도로서 매우 신뢰할 수 있는 벤치마크입니다.
로딩 중...