Coding Capability

Programming ability benchmarks: SWE-bench Verified, LiveCodeBench, SWE-bench Pro, Aider-Polyglot.

…

About Benchmarks

SWE-bench Verified

実践的ソフトウェア開発タスク — 実際のバグ修正能力を測定

LiveCodeBench

リアルタイムコーディングベンチマーク — 最新のプログラミング問題への対応能力を測定

SWE-bench Pro

プロフェッショナルSWEベンチマーク — より複雑なソフトウェア開発タスクを測定

Aider-Polyglot

多言語コーディングアシスタントベンチマーク — 複数プログラミング言語のコーディング能力を測定