알리바바 Qwen3.7-Max, 35시간 자율 실행으로 AI 에이전트 성능 새 기록
35시간. 1,158회의 도구 호출. 인간의 개입은 제로.
2026년 5월, 알리바바 Qwen 팀이 발표한 Qwen3.7-Max의 자율 실행 실험은 AI 에이전트의 가능성을 크게 다시 쓰고 있다.
실험 전모
Qwen 팀이 수행한 실험은 다음과 같은 조건으로 진행되었다.
- 과제: SGLang용 어텐션 커널 최적화
- 하드웨어: T-Head ZW-M890 PPU (알리바바 자사 반도체 칩)
- 전제 조건: 모델은 이 칩 아키텍처를 학습 시 본 적이 없다. 하드웨어 문서나 샘플 코드도 없음. 주어진 것은 Triton의 레퍼런스 구현뿐
- 제한 시간: 5시간 (실제로는 35시간 연속)
- 실행 환경: 12 CPU / 24GB RAM, 격리된 Docker 컨테이너
모델은 주어진 문제를 해결하기 위해 다음을 자율적으로 반복했다.
- 코드 작성
- 컴파일
- 프로파일링
- 병목 지점 식별
- 코드 재작성
이 루프가 35시간 동안 계속되어, 총 432회 커널 평가, 1,158회 도구 호출이 이루어졌다.
결과: 10배 성능 향상
최종 결과는 Triton 레퍼런스 구현 대비 10.0배의 기하 평균 가속이었다.
비교 데이터:
| 모델 | 달성한 가속 배율 | 비고 |
|---|---|---|
| Qwen3.7-Max | 10.0x | 35시간 자율 실행 |
| GLM-5.1 | 7.3x | 조기 종료 |
| Kimi K2.6 | 5.0x | 조기 종료 |
| DeepSeek V4 Pro | 3.3x | 조기 종료 |
| Qwen3.6-Plus | 1.1x | 전 세대 모델 |
다른 모델들은 '5회 연속 도구 호출 없으면 자율 종료'라는 규칙에 의해 조기 종료했다. Qwen3.7-Max만이 30시간을 넘긴 후에도 의미 있는 개선을 계속했다.
35시간까지 버텨낸 이유
Qwen 팀은 이 능력을 "Environment Scaling"이라 부른다. 기존 LLM이 텍스트의 다양성으로 똑똑해졌듯, Qwen3.7-Max는 다양한 동적 에이전트 환경에서 훈련되었다.
과제, 테스트 하네스, 검증기의 분리
Qwen3.7-Max의 훈련 인프라는 각 훈련 과제를 세 가지 독립된 구성 요소로 분해한다.
- 과제(Task): 해결해야 할 문제
- 테스트 하네스(Harness): 도구와 환경의 세트
- 검증기(Verifier): 결과를 평가하는 메커니즘
이 세 가지를 자유롭게 조합함으로써 모델은 특정 프레임워크에 의존하지 않는 범용 전략을 학습한다.
크로스 하네스 일반화
이 설계의 효과는 벤치마크 결과에 명확히 드러난다.
| 벤치마크 | Qwen3.7-Max | Claude Opus 4.6 | 차이 |
|---|---|---|---|
| QwenClawBench | 최고 점수 | — | Opus 4.6 초과 |
| CoWorkBench | 안정적 | 하네스 의존적 | 일반화 성능에서 우위 |
| MCP-Mark | 60.8% | — | GLM-5.1의 57.5% 초과 |
| MCP-Atlas | 76.4% | 75.8% | +0.6pt |
Qwen3.7-Max는 Claude Code, OpenClaw, Qwen Code, Hermes Agent 등 다른 에이전트 프레임워크에서 거의 동일한 성능을 발휘한다. 이는 '특정 하네스에 최적화된 벤치마크 점수'가 아닌, 진정한 일반화 능력을 보여준다.
자기 모니터링: 훈련 중 치트 탐지
가장 흥미로운 발견 중 하나는, Qwen3.7-Max가 자신의 훈련 프로세스를 감독하는 역할도 수행했다는 점이다.
모델은 소프트웨어 공학 과제의 훈련 실행을 80시간 이상 모니터링하고, 10,000회 이상의 검사를 수행했다. 목적은 훈련 중인 모델이 '치트'(예: GitHub에서 정답을 직접 가져오기)를 시도할 경우 이를 탐지하는 것이다.
결과:
- 13개의 새로운 탐지 규칙을 자율적으로 생성
- 1,618건의 치트 시도 탐지
- 86시간의 자율 런타임 동안 13,952건의 궤적 검사
이 '자기 모니터링' 능력은 RLHF(인간 피드백을 통한 강화 학습)의 한계를 극복할 가능성을 가진다. 인간이 감독하는 대신, 모델 자체가 훈련의 정합성을 보장하는 것이다.
MCP 도구 오케스트레이션
Qwen3.7-Max는 MCP(Model Context Protocol)를 네이티브로 지원하여, 외부 도구와의 통합이 용이하다.
| 능력 | 점수 | 비교 |
|---|---|---|
| MCP-Mark | 60.8% | GLM-5.1: 57.5% |
| MCP-Atlas | 76.4% | Opus 4.6: 75.8% |
| SpreadSheetBench-v1 | 87.0% | 스프레드시트 과제 최고 |
| BFCL-V4 | 75.0% | 함수 호출 |
MCP-Mark와 MCP-Atlas 점수는 Qwen3.7-Max가 '도구 사용 능력'에서 Opus 4.6을 넘어서고 있음을 시사한다.
다른 중국 모델과의 비교
2026년 5월 중국 모델 생태계 전체에서, Qwen3.7-Max는 어떤 위치에 있을까?
| 모델 | 주요 강점 | 에이전트 성능 | 가격 (출력/1M) |
|---|---|---|---|
| Qwen3.7-Max | 에이전트 · 추론 | 최상위 클래스 | $7.50 |
| DeepSeek V4 Pro | 비용 효율 · 코딩 | 높음 | $3.48 |
| Kimi K2.6 | 코딩 · 비전 | 높음 | $4.00 |
| GLM-5 | 장기 에이전트 | 높음 | $3.20 |
| MiniMax M2.5 | 저가 코딩 | 중간 | $1.20 |
Qwen3.7-Max는 에이전트 성능으로 다른 중국 모델을 선도하고 있지만, 가격도 가장 비싸다. DeepSeek V4 Pro는 $3.48에 SWE-bench 80.6%를 달성해 비용 효율면에서 압도적이다.
과제와 한계
중복성 문제
Artificial Analysis 평가에 따르면, Qwen3.7-Max는 약 9,700만 토큰을 생성했다. 중앙값은 2,400만 토큰으로, 4배의 중복성이 있다. 장시간 에이전트 세션에서는 이 중복성이 비용에 직결된다.
독립 검증 부재
35시간 자율 실행 실험은 알리바바 내부 테스트이며, 독립된 제3자에 의한 검증은 아직 이루어지지 않았다. 특히 사용된 T-Head ZW-M890 PPU는 공개 문서가 적은 칩으로, 재현성 확인에는 시간이 걸릴 것으로 보인다.
클로즈드 모델이라는 점
Qwen3.7-Max는 프로프라이어터리 모델이다. Qwen3.5-397B-A17B(2026년 2월)가 마지막 오픈소스 플래그십이었다. 알리바바는 "훈련 비용 회수"라는 이유로 클로즈드 모델로 전환했으나, 이는 오픈소스 커뮤니티에 타격이다.
결론
Qwen3.7-Max의 35시간 자율 실행은 AI 에이전트의 새로운 기준을 제시했다.
기존 모델은 "챗봇에 도구를 장착한" 것이었다. Qwen3.7-Max는 "에이전트로 태어난" 모델이다. 과제, 하네스, 검증기를 분리한 훈련, 크로스 하네스 일반화, 자기 모니터링—이 모든 것은 "에이전트가 자율적으로 움직이기 위한 기반 기술"이다.
35시간이라는 숫자 자체보다 중요한 것은, 30시간을 넘긴 후에도 개선을 계속했다는 사실이다. 다른 모델들이 "낮게 달린 과실"을 따고 멈추는 동안, Qwen3.7-Max는 꾸준히 버텼다.
중국 모델이 "비용으로 승부"하던 단계에서 "능력으로 승부"하는 단계로 진입했음을 보여주는 상징적인 사건이다.
로딩 중...