블로그 목록으로
벤치마크

Kimi K3 정식 출시: 2.8조 파라미터, 100만 컨텍스트, 7월 27일 전면 오픈소스

Kimi K3가 드디어 정식으로 공개됐다. 2.8조 파라미터, 100만 컨텍스트 윈도우 그리고 오는 7월 27일 전면 오픈소스를 선언했다.

더 할 말이 없다. 함께 환호하자.

공개 전부터 기대감을 끌어올린 예고

月之暗面(문페이스)은 전날 오후에 이미 티저를 공개했는데, 흥미롭게도 Claude Fable 5의 촬영 기법을 오마주한 형태였다. 이는 사실상 "우리가 자부심을 걸 수 있는, 月之暗面을 새로운 시대로 이끌어갈 모델"이라는 자신감의 표현이었다.

智谱(Zhipu)이 포스트 튜닝(post-training)의 신이라면, GLM-5 시리즈를 완전히 새로운 차원으로 끌어올렸다고 할 수 있다. 하지만 필자의 마음속에서 사전 학습(pre-training) 분야의 국내 최강자는 언제나 Kimi였다. 그리고 항상 대규모 파라미터의 대명사였다.

K2는 몇 달 전 국내 최초로 1T급 모델을 선보였다. 과거에는 "스케일링 법칙(Scaling Law)이 한계에 다다랐다", "효과가 없어질 것"이라는 말도 많았지만, 결국 밝혀졌다. 크다는 것은 여전히 좋고, 크다는 것은 여전히 강력하며, 크다는 것은 여전히 지능이다.

개인적으로 Claude Opus 4.6은 지금까지 가장 밸런스 잡힌 모델이라 생각한다. 글쓰기, 창의력, 인지, 에이전트, 코딩 능력 모두 극강이었는데, 그건 5T 파라미터의 힘이었다. 이후 Opus 4.7과 4.8은 강화학습(RL)을 거치면서 코딩 능력은 올랐지만 창의력과 기획 능력은 눈에 띄게 하락했고, 평판도 급락했다.

현재 최강으로 꼽히는 Claude Fable 5의 파라미터는 아직 공개되지 않았지만, 업계 관계자들과의 논의·추측에 의하면 10T급일 가능성이 높다. Grok 내부에서 학습 중인 최대 파라미터 모델도 10T급이기 때문이다.

국내로 시선을 돌리면, Kimi 이후 DeepSeek V4 Pro와 美团(Meituan)의 LongCat 2.0도 조(兆) 단위에 진입했고, 조 파라미터 모델은 점차 표준이 되어가고 있다.

그리고 오늘, Kimi K3가 왔다.

국내 최초의 3조 파라미터 모델, 세계 최초의 오픈소스 3조 파라미터

이번에 Kimi는 모델 파라미터를 2.8T급으로 끌어올렸다. 이는 국내 최초의 3조 파라미터급 모델이자, 전 세계 최초로 모두에게 오픈소스되는 3조 파라미터급 모델이다.

자랑스럽고 기쁘다.

벤치마크 성적표

종합 지능 평가

AA가 제공하는 지능 스코어에서 Kimi K3는 Fable 5와 GPT-5.6 Sol에 이어 3위를 기록했다. 나머지 모든 모델을 넘어서는 성적이다.

이로써 Kimi는 Google을 대신해 새로운 '빅3'에 합류하게 됐다.

코딩(Coding) 벤치마크

코딩 평가를 살펴보자.

이 기회를 빌려 벤치마크 결과를 실제 체감과 결합해, 각 모델의 '성격'과 특징을 설명해 보겠다. 모든 모델은 각자 강점과 약점이 있다. Fable 5처럼 강력한 모델도 약점이 있지만, 그 약점의 수준이 다른 모델의 강점보다 높은 경우가 많다.

코딩 평가 6개는 크게 두 가지 유형으로 분류할 수 있다.

유형 1: 정밀 실행형(Precision Execution)

명확한 과제를 얼마나 정확하게 완수하는지 측정한다. "상세한 작업 목록을 받고, 빠짐없이·틀리지 않고 수행"하는 능력이 핵심이다. 요구사항 이해, 문제 파악, 정밀 수정, 새 버그 도입 없음을 종합적으로 테스트한다.

DeepSWE와 Terminal Bench 2.1이 대표적인데, 하나는 순수 실행에, 다른 하나는 종합적 실행에 가깝다.

GPT-5.6 Sol은 두 평가 모두 1위를 차지했다. 요구사항 이해, 환경 조작, 디버깅 수렴, 최종 납품에 있어 가장 안정적이다. 개인적 사용 경험과도 일치한다.

Opus 4.8는 환각률(hallucination rate)이 너무 높아 수차례 비판한 바 있는데, 이 순위도 체감과 동일하다.

Kimi K3는 실행 정밀도에서 DeepSWE 기준 Claude Fable 5, GPT-5.6 Sol에 이어 3위, Terminal Bench 2.1에서는 2위를 기록했다.

유형 2: 솔루션 기획형(Solution Planning)

FrontierSWE 같은 평가가 이에 해당한다. 최첨단·극도로 어려운 소프트웨어 엔지니어링 문제를 창의적 사유와 복잡한 시스템의 깊은 이해로 풀어야 한다.

Fable 5는 압도적 1위로 설명이 필요 없다. GPT 시리즈는 창의적 작업과 솔루션 설계가 약점으로 잘 알려져 있는데, 이번에 Kimi K3가 Fable 5와 GPT-5.6 Sol 사이에 바로 끼어들었다.

이것만으로도 K3의 포지셔닝이 보인다. 말 그대로 중용(中庸)의 모델이다. 모든 분야에서 꽤 잘하지만, 각 영역의 최강자를 이기지는 못한다. 대신 언제나 2~3위를 유지한다.

솔직히 말하면, 이렇게 밸런스 잡힌 모델이 일상 사용에서는 오히려 더 나은 경험을 줄 수 있다. 필자도 현재 Fable 5와 GPT-5.6 Sol을 오가며 기획과 실행을 나눠 쓰고 있는데, 이게 가장 강력한 조합이긴 하지만 번거롭다. 국내에서 Fable 5를 쓰지 못하는 사람이 얼마나 많은지를 생각하면 더 그렇다.

해외에서 "Kimi는 증류(distillation)로 만든 것 아니냐"는 의문도 있었지만, 솔직히 이 규모는 증류로 나올 수 있는 수준이 아니다. Lambert마저 참지 못하고 직접 반박했다.

에이전트(Agent) 능력

많은 사람이 주목하는 에이전트 능력도 살펴보자. 이는 주로 '워크(Work)'와 강한 관련이 있다.

BrowseComp — 브라우저 환경에서의 복잡한 정보 이해·처리, 즉 딥 리서치(deep research) 능력을 측정한다. "모델에게 브라우저를 주고, 직접 온라인에서 정보를 찾고, 내용을 이해하고, 과제를 완수"하게 하는 테스트다. K3는 91.2점으로 전체 1위, GPT-5.6 Sol이 90.4로 뒤를 이었고, Fable 5는 88.0이었다.

Automation Bench — 자동화 과제 실행 능력, 일련의 작업을 연결해 자동으로 완수하는 능력을 측정한다. K3가 30.8점으로 1위.

SpreadsheetBench 2 — 스프레드시트 처리 능력(수식, 데이터 정리, 리포트 생성)을 측정한다. K3가 34.8점으로 1위, Fable 5가 34.7로 근소하게 뒤를 이었다.

종합 에이전트 평가 3개:

  • AA-Briefcase Elo: 다양한 오피스 시나리오를 포함한 종합 에이전트 Elo 점수. K3의 1548점은 Fable 5(1583)에 이어 2위.
  • JobBench: 구체적 업무 과제 완수 능력. K3의 52.9점도 Fable 5에 이어 2위.
  • GDPval-AA v2 Elo: 또 다른 종합 에이전트 평가 체계. Fable 5(1760) 1위, GPT-5.6 Sol(1748) 2위, K3(1668) 3위. K3가 GPT-5.6 Sol에 뒤처진 소수의 평가 중 하나이지만, 격차가 거의 없다.

종합 에이전트 평가들을 보면, 전체적으로 Fable 5에는 다소 미치지 못하지만 GPT-5.6 Sol과는 대등하며 승패가 엇갈리는 수준이다.

멀티모달

Kimi의 멀티모달(multimodal)은 국내 최고 수준이다. Fable 5에 이어 2위 수준인데, Fable 5는 역시나 너무 강하다.

불과 얼마 전까지, 국산 모델이 Opus 4.7이나 4.8과 대등하게 겨루기만 해도 "대단하다"고 했다. 그런데 이제 국산 모델이 GPT-5.6 Sol과 어깨를 나란히 하는 시대가 왔다. Fable 5의 등도 더 이상 멀어 보이지 않는다.

물론 GPT-5.6 Sol에는 자체적 특성이 있다. 이는 기존 모델을 강화한 것이지, 차세대 사전 학습 모델이 아니다. Fable 5와 Kimi K3 모두 완전히 새로 사전 학습을 수행한 모델이다. GPT-6가 나오면 얼마나 강해질지는 아무도 모른다.

실전 테스트

Claude도 GPT도 쓸 수 없고 국산 모델만 쓸 수 있는 사람이라면, 오늘부터 Kimi K3로 모든 업무를 처리해 보길 강력히 추천한다. 3조 파라미터 차세대 모델의 지능을 직접 체감해 볼 수 있을 것이다.

국내 연산 인프라 수준을 감안하면, 이 규모의 모델에 대한 추론 비용은 Kimi에게도 엄청난 도전이 될 것이다. 때문에 지금이라도 Kimi의 코딩 플랜을 구매하는 것을 권한다. 나중에 GLM처럼 구매 제한이 걸릴 수도 있다.

솔직히 국산 모델에 유료 결제를 하는 경우가 거의 없는데, 이번 Kimi K3는 정말 선결제한 몇 안 되는 모델 중 하나다. 699위안 회원으로 하룻밤 동안 각종 테스트 과제와 멀티 에이전트 실제 개발 환경을 돌렸는데, 토큰 소비량은 다음과 같다.

이번 테스트에서는 Claude Code를 사용하지 않았다. 현재 시대에는 모델에 프레임워크(harness framework)를 결합해야 비로소 완전한 제품이 되기 때문이다. 자사 모델에는 자사 프레임워크가 가장 잘 맞는다. 그래서 이번에는 Kimi Code로 K3를 테스트했다.

참고로 Kimi Code에는 GUI 버전도 있다. 아직 Codex 같은 전용 클라이언트는 아니고 웹 버전만 존재한다. 터미널에서 kimi web을 입력하면 바로 실행된다.

100만 컨텍스트의 힘

K3의 큰 업데이트 중 하나는 컨텍스트 길이가 드디어 100만에 도달했다는 점이다. 이는 이제 표준이 되어가고 있다.

실전 과제 1: 자기 버그 스스로 수정

첫 번째 과제는 의외의 상황에서 시작됐다. AIHOT가 Kimi K3 발표 블로그를 수집하지 못하고 있는 것을 발견한 것이다. 그래서 K3에게 "자기 자신의 문제를 수정"해 보라고 시켰다.

K3는 즉시 원인을 파악하기 시작했다.

원인을 발견했다. Kimi 공식 블로그가 리뉴얼된 것이었는데, 불과 며칠 전의 일이었다.

그리고 경보 설정이 14일 유입 중단 시 발동하도록 되어 있는 것을 3일로 변경하고, 블로그 수집을 수정했다. 3분 만에 완료되어 AIHOT에 정상적으로 나타났다.

실전 과제 2: 10개 피드백 일괄 처리

더 복잡한 과제는 사용자 피드백 기반 AIHOT 최적화였다. 매일 飞书(Feishu)로 사용자 피드백이 쌓여 있었는데, 이틀간 밀린 피드백을 한꺼번에 Kimi Code에 넘겼다.

쉬워 보이지만 복잡한 작업이다. 거의 10개 과제가 있고 각각 성격이 다르며 서로 관련이 없다. 솔루션 설계 능력과 판단력이 필요하다. 사용자의 말이 항상 옳은 것도 아니며, 장기적·멀티 에이전트 기획 능력도 요구된다.

K3는 먼저 운영 문서를 읽고 서버 접속 방식을 파악한 뒤, 사용자 피드백을 확인했다.

7개의 할 일(to-do)을 자기 자신에게 부여했다.

8개의 에이전트를 가동해 연구를 시작했다.

솔직히 Kimi의 미적 감각은 정말 좋다. Kimi Code의 UI 표현은 매우 직관적이고 깔끔하다.

연구 결과 7개만 실행 가치가 있다고 판단하고, 7개의 작업 공간을 열어 7개 에이전트를 병렬로 실행했다.

약 1시간 30분 개발 후, 모든 과제가 완료되어 PR을 올리고 CI를 통과하고 메인 브랜치에 병합했다.

2시간 만에 모두 끝났다.

이메일을 확인했더니 정말로 飞书 이메일로 발송까지 완료되어 있었다.

수행이 매우 우수했다. 프로세스가 전부 완료되고 버그도 없었다. 해야 할 것은 다 했고, 하지 않아야 할 2개 과제에 대해서는 설명까지 제공했다.

솔루션 설계 평가

실행력 외에 기획력도 확인했다. K3의 솔루션과 GPT-5.6 Sol의 솔루션을 Fable 5에게 평가시킨 결과, 약 5:5 수준이었다. 사고의 차원과 관점에서 분명한 차이가 있었다.

예를 들어 서버 성능 최적화 과제에서 Fable 5는 최종적으로 K3의 솔루션(방안 2)을 선택했지만, GPT의 솔루션에도 K3가 고려하지 못한 요소가 있었다. 결국 양쪽을 합치는 것이 가장 효과적이었다.

아쉬운 점: 큐(Queue) 동시성 고려 미흡

테스트 과정에서 하나의 작은 아쉬움도 발견했다. K3가 핫트렌드 랭킹 기능을 개발하면서 배후의 약 500개 핫트렌드 소스를 한꺼번에 큐에 밀어 넣어, AIHOT의 정보 처리 큐가 막혀 약 1시간 동안 새로운 뉴스 유입이 중단된 것이다.

이 세부 사항은 복잡하지 않다. 사이트의 동시 처리 한도(동시 6개, 각 20~30초)를 초과한 것이 원인이다. 9,000여 건의 정보가 한꺼번에 들어와 모든 큐가 포화 상태가 됐다.

이런 동시성 처리를 고려하지 못한 점은 현재 대부분의 모델이 가진 솔루션 설계의 한계를 반영한다. Fable 5 외에는 다른 모델들도 이 부분을 완벽하게 고려하기 어렵다. GPT-5.6 Sol도 테스트해 봤는데 역시 고려하지 못했다.

그럼에도 불구하고, 몇 시간에 걸친 체험에서 개발의 정밀성과 완성도는 기대에 부합했다. 국내 최고, 이견의 여지가 없다.

프론트엔드: Kimi의 안방

프론트엔드 작업은 말 그대로 Kimi가 가장 잘하는 영역이다. Kimi这家公司(이 회사)는 언제나 미적 감각이 뛰어났고, 자체 멀티모달 능력까지 더해져 K3에서 프론트엔드 효과가 또 한 번 도약을 이루었다.

공식 쇼케이스 두 개를 먼저 보자. 공간 이해 능력이 압도적이다. 평면적 미적 수준도 훌륭하다.

K3로 최근 SNS에서 화제가 된 프론트엔드 효과들도 복원해 봤다. 원샷(one-shot) 프롬프트 기준으로, 개인적으로 완성도와 미적 수준이 Fable 5에 이어 2위라고 생각한다.

테스트 1: 건물 처마 비문 줄 효과

최근 트위터에서 대히트한 작품이 있다. 건물 처마 아래에 한문이 적힌 끈이 구슬 장막처럼 늘어져 있고, 마우스나 손가락으로 스치면 글자가 커튼처럼 흔들리는 인터랙티브 효과다.

K3로 복원해 봤다. 프롬프트도 매우 간단했다.

첫 번째 버전에서 이미 그 느낌이 잡혔다. 전체 윤곽은 맞았지만 디테일이 거칠었다.

약간의 프롬프트 조정 후, 완성.

테스트 2: 소홍서(小红书) 수족관 효과

소홍서에서 발견한 아주 멋진 작품도 있다. 수족관 속 분홍색 물고기 한 마리가 파란 물고기 떼에 둘러싸여 사라지는 인터랙티브 효과인데, "운명에 끌려가는 느낌"이 강렬하다.

튜토리얼 스크린샷을 그대로 K3에 넘겨 복원을 요청했다.

10분 만에 첫 버전이 나왔고, 분홍 물고기 크기·수영 속도, 파란 물고기 수량 조정, BGM 추가 등 세부 수정을 거쳤다. 약 10분 후 최종 결과물이 나왔다.

GPT-5.6 Sol에도 같은 작업을 시켰는데...

GPT의 미적 감각은... GPT-6를 기대하자.

K3의 프론트엔드 능력은 훨씬 더 많은 실험이 가능할 것이다. 시간 관계상 여기까지 했지만, 독자분들도 재밌는 결과물을 댓글로 공유해 주시면 좋겠다.

글쓰기(Writing) 능력

코딩과 미적 감각 외에 많은 분이 궁금해하는 글쓰기 능력도 간단히 테스트했다.

지난주에 발행한 디자인 관련 글의 앞부분을 K3에게 주고, 이후 결말을 이어 쓰게 했다.

K3가 쓴 결말은 이러했다.

결론은 간단하다. Claude를 쓸 수 있다면 최고의 글쓰기 모델은 여전히 Claude Opus 4.6이다. 세계 모든 모델을 압도한다. 쓸 수 없다면 국산 모델 중에서는 **DeepSeek V4 Pro**를 추천한다.

가격

이렇게 큰 파라미터인 만큼 가격이 저렴할 수는 없다. API 가격은 대략 Sonnet 시리즈와 비슷한 수준이다.

코딩 플랜을 구매하려면 서두르는 것이 좋다. 연산 자원 제한으로 GLM처럼 구매 제한이 걸릴 가능성이 높다.

총평

K3는 기대 이상의 결과를 보여줬다. 예상보다 훨씬 좋았다.

2023년 AI 콘텐츠를 처음 만들기 시작했을 때, 국산 모델과 GPT-4 사이의 격차는 눈에 보일 정도로 큰 골이었다. "어떻게 따라잡지?"라는 막연함이 있었다.

3년이 지난 지금, 이 산업의 변화는 모두의 예상을 뛰어넘었다.

해외 최상위 모델과의 격차는 분명히 남아 있다. 하지만 이제 **DeepSeek R1의 경천동지(驚天動地)**가 있었고, GLM-5.2의 해외 평판 역전이 있었다. 그리고 오늘, **Kimi K3**가 왔다.

2025년 DeepSeek R1 발표 당시 冯骥(Feng Ji)의 말이 떠오른다.

이것들은 모두 국운(國運)이다.

비바람이 몰아쳐도, 미래는 반드시 밝을 것이다.


이 글이 유익했다면 좋아요·공감·공유 부탁드립니다. 새로운 글 알림을 받으려면 ⭐ 팔로우도 눌러 주세요.

댓글 (0)

공유:XHatena

댓글 작성

로딩 중...