Google Deep Mind조건부 오픈

Gemma 4 120B

Name: Gemma 4 120B
Author: Google Deep Mind

이 모델 비교

Google DeepMind가 개발한 고성능 오픈소스 모델. 효율성과 성능의 균형이 뛰어납니다.

공유:X Hatena LINE

파라미터

1200

컨텍스트

128K

라이선스

Gemma License

출시일

2026-05-19

일본어 처리 능력

✅High-Quality JP

Multilingual model with strong Japanese language processing capabilities.

API 가격

이 모델의 API 가격 정보는 현재 공개되지 않았습니다

강점

약점

활용 사례

심층 분석

파라미터

11.95B

Dense, 인코더 없는 통합 아키텍처

컨텍스트 윈도우

256K 토큰

Gemma 4 31B 및 26B-A4B와 동일

GPQA Diamond

78.8%

Llama 4 Scout 74.3% 대비

AIME 2026

77.5%

Gemma 3 27B(20.8%) 대비 3.8배 향상

Codeforces ELO

1659

강한 경쟁 프로그래밍

모달리티

텍스트 + 이미지 + 오디오

네이티브 오디오 탑재 첫 중형 Gemma, 인코더 없음

VRAM (Q4)

약 7.65 GB

양자화로 16GB 노트북 구동 가능

라이선스

Apache 2.0

완전 상업 자유를 가진 첫 Gemma 세대

강점

・인코더 없는 통합 아키텍처가 별도 비전/오디오 인코더를 없애 지연을 줄이고 단일 패스 파인튜닝 가능
・12B 모델에 네이티브 오디오 입력(ASR+번역) 탑재, 이 능력을 갖춘 첫 중형 Gemma
・랩탑 배포 가능한 크기로 하이브리드 로컬/글로벌 어텐션과 KV 캐시 최적화를 갖춘 256K 컨텍스트

약점

・전용 Arena Elo 순위 부재, 31B와 26B-A4B가 받은 인간 선호 검증 데이터 없음
・인코더 없는 비전은 단일 matmul로 원시 패치를 투영(35M 파라미터)해 31B의 550M 전용 인코더 대비 세밀한 시각 디테일 희생
・복잡한 다단계 추론에서 31B Dense에 크게 뒤처짐(HLE 5.2% 대 19.5%, BigBench Extra Hard 53.0% 대 74.4%)

경쟁사 비교

Model	Arena	SWE	GPQA	Price
Gemma 4 31B Dense	1451	N/A	84.3%	무료 (Apache 2.0)
Gemma 4 26B-A4B MoE	1438	N/A	82.3%	무료 (Apache 2.0)
Llama 4 Scout (17B active)	약 1400	N/A	74.3%	무료 (Llama License)

개요

Gemma 4 12B Unified는 Google DeepMind가 2026년 6월 더 넓은 Gemma 4 제품군의 일부로 발표한 최초의 인코더 없는 중형 오픈 모델이다. 정의적 아키텍처 혁신은 별도 비전 및 오디오 인코더의 제거다. 원시 48x48 이미지 패치와 40ms 오디오 청크가 가벼운 선형 계층을 통해 LLM 임베딩 공간으로 직접 투영된다. 이 통합 설계는 멀티모달 지연을 줄이고 메모리 발자국(BF16 24GB, 가중치만 Q4_0 양자화 시 약 7.65GB)을 낮추며 전체 모델을 단일 패스로 파인튜닝할 수 있게 한다. 모델은 256K 토큰 컨텍스트로 텍스트, 이미지, 오디오 입력을 처리하며 최대형 Gemma 4 변형과 일치한다. 벤치마크는 12B Unified를 체급 이상의 강한 중간 계층 모델로 위치시킨다. GPQA Diamond(78.8%)에서 활성 파라미터가 더 적음에도 Llama 4 Scout의 74.3%를 앞선다. AIME 2026 점수 77.5%, LiveCodeBench v6 점수 72.0%는 견고한 수학 및 코딩 추론을 보여준다. 그러나 31B Dense(GPQA 84.3%, AIME 89.2%)와 26B-A4B MoE(GPQA 82.3%, AIME 88.3%)에는 의미 있는 격차가 있으며, 특히 HLE(5.2% 대 31B 19.5%)와 BigBench Extra Hard(53.0% 대 74.4%) 같은 복잡한 다단계 추론에서 그렇다. 모델은 에이전트 워크플로를 위한 네이티브 함수 호출, 단계적 추론을 위한 설정 가능한 thinking 모드, 140개 이상 언어 사전학습 기반 35개 이상 언어 다국어 지원을 제공한다. 12B Unified는 오디오 능력을 갖춘 랩탑 배포 가능 멀티모달 모델이 필요한 개발자를 겨냥한다. 다른 중형 Gemma가 채우지 못하는 틈새다. 16GB VRAM(8비트) 또는 8-10GB(4비트) 소비자 하드웨어에서 구동되어 로컬 프로토타이핑, 개인정보 민감 문서 처리, 에이전트 코딩 워크플로에 접근 가능하다. Apache 2.0으로 출시되며 Hugging Face Transformers, llama.cpp, Ollama, MLX, SGLang, vLLM을 통한 첫날 지원으로 Gemma 4 라인업에서 가장 배포 최적화된 모델로 등장한다.

벤치마크 및 성능

### 공식 벤치마크 결과 (Gemma 4 12B Unified, 지시 튜닝, thinking 모드) | 벤치마크 | Gemma 4 12B | Gemma 4 31B | Gemma 4 26B-A4B | Gemma 3 27B | |---|---|---|---|---| | MMLU Pro | 77.2% | 85.2% | 82.6% | 67.6% | | AIME 2026 (도구 없음) | 77.5% | 89.2% | 88.3% | 20.8% | | LiveCodeBench v6 | 72.0% | 80.0% | 77.1% | 29.1% | | Codeforces ELO | 1659 | 2150 | 1718 | 110 | | GPQA Diamond | 78.8% | 84.3% | 82.3% | 42.4% | | Tau2 (평균) | 69.0% | 76.9% | 68.2% | 16.2% | | HLE (도구 없음) | 5.2% | 19.5% | 8.7% | — | | BigBench Extra Hard | 53.0% | 74.4% | 64.8% | 19.3% | | IFEval | 97.2% | 98.9% | 98.5% | 90.4% | | IFBench | 74.0% | 76.0% | 72.0% | 32.0% | | MMMLU | 83.4% | 88.4% | 86.3% | 70.7% | | Terminal Bench Hard | 18.0% | 36.0% | 14.0% | 4.0% | 비전 벤치마크: | 벤치마크 | Gemma 4 12B | Gemma 4 31B | Gemma 4 26B-A4B | |---|---|---|---| | MMMU Pro | 69.1% | 76.9% | 73.8% | | MATH-Vision | 79.7% | 85.6% | 82.4% | | MedXPertQA MM | 48.7% | 61.3% | 58.1% | | OmniDocBench 1.5 (낮을수록 좋음) | 0.164 | 0.131 | 0.149 | 오디오 벤치마크(중형 모델 중 12B만): | 벤치마크 | Gemma 4 12B | Gemma 4 E4B | Gemma 4 E2B | |---|---|---|---| | CoVoST (평균 BLEU) | 38.5* | 35.54 | 33.47 | | FLEURS ASR (WER 낮을수록 좋음) | 0.069* | 0.08 | 0.09 | *중국어 제외. 전용 오디오 인코더가 없음에도 12B는 경쟁력 있는 오디오 성능을 달성해 통합 아키텍처의 핵심 검증이 된다. 장문 컨텍스트: | 벤치마크 | Gemma 4 12B | Gemma 4 31B | Gemma 3 27B | |---|---|---|---| | MRCR v2 8-needle 128k | 43.4% | 66.4% | 13.5% | | RULER 32k | 96.4% | 96.8% | 91.1% | | RULER 128k | 91.2% | 96.4% | 66.0% | 메모리 및 하드웨어: | 구성 | 가중치 메모리 | + KV 캐시 (32k 컨텍스트) | |---|---|---| | BF16 | 24.0 GB | +0.28 GB | | Q4_0 양자화 | 7.65 GB | +0.28 GB | 출처: Google DeepMind Gemma 4 기술 보고서 (arXiv:2607.02770)

상세 비교

### Gemma 4 12B Unified 대 Gemma 4 31B Dense | 차원 | 12B Unified | 31B Dense | |---|---|---| | 파라미터 | 11.95B | 30.7B | | VRAM (Q4) | 약 7.65 GB | 약 19.2 GB | | 컨텍스트 | 256K | 256K | | GPQA Diamond | 78.8% | 84.3% | | AIME 2026 | 77.5% | 89.2% | | Codeforces ELO | 1659 | 2150 | | HLE | 5.2% | 19.5% | | Arena Elo | N/A | 1451 (#43) | | 인코더 없음 | 예 | 아니오 (550M 비전 인코더) | | 오디오 | 예 | 아니오 | | 함수 호출 | 예 | 예 (더 신뢰성 높음) | 요약: 31B Dense가 품질에서 확실한 선두며 추론 벤치마크에서 12B를 5-14점 앞서고 가장 어려운 벤치마크(HLE)에서 3.75배 우위다. 그러나 2.5배 더 많은 VRAM이 필요하고 오디오 지원이 없으며 별도 인코더를 쓴다. 12B는 랩탑 배포와 오디오 포함 워크플로에 실용적 선택이다. ### Gemma 4 12B Unified 대 Gemma 4 26B-A4B MoE | 차원 | 12B Unified | 26B-A4B MoE | |---|---|---| | 총 파라미터 | 11.95B | 25.2B (3.8B 활성) | | VRAM (Q4) | 약 7.65 GB | 약 16.2 GB | | GPQA Diamond | 78.8% | 82.3% | | AIME 2026 | 77.5% | 88.3% | | BigBench Extra Hard | 53.0% | 64.8% | | 인코더 없음 | 예 | 아니오 | | 오디오 | 예 | 아니오 | | Tau2 (평균) | 69.0% | 68.2% | 요약: 26B-A4B MoE가 의미 있게 더 나은 추론(AIME +10.8pp, BigBench +11.8pp)을 제공하나 VRAM이 2배. 주목할 만하게 12B는 Tau2 에이전트 벤치마크에서 MoE를 근소하게 앞서고(69.0% 대 68.2%) 오디오를 유일하게 지원한다. MoE는 소비자 하드웨어에서 지연 이슈(24GB MacBook 약 2 tok/s)가 보고되어 12B가 더 나은 로컬 배포 옵션이다. ### Gemma 4 12B Unified 대 Llama 4 Scout (17B 활성) | 차원 | 12B Unified | Llama 4 Scout | |---|---|---| | 활성 파라미터 | 11.95B | 17B | | GPQA Diamond | 78.8% | 74.3% | | 컨텍스트 | 256K | 10M | | 오디오 | 예 | 아니오 | | 라이선스 | Apache 2.0 | Llama License | 요약: Gemma 4 12B는 활성 파라미터가 더 적음에도 GPQA Diamond에서 Llama 4 Scout을 4.5pp 앞서고 네이티브 오디오 우위를 갖는다. Llama 4 Scout의 10M 컨텍스트 윈도우는 극단적 장문 작업의 차별화 요소. Gemma 4의 Apache 2.0 라이선스는 Llama License보다 허용적이다.

커뮤니티 평가

Gemma 4 제품군은 2026년 6월 12B 출시 기준 누적 다운로드 1억 5,000만 회를 넘겼다고 Google이 밝혔다. 개발자 커뮤니티는 여러 측면에 긍정적으로 반응했다. 인코더 없는 아키텍처 열광: 통합 설계는 진정한 혁신으로 주목받았다. Google 개발자 블로그는 12B가 동일 모델로 구동되는 Gradio 앱을 코딩하고 5분 분량 비디오를 단일 추론 호출로 오디오와 함께 처리하는 모습을 시연했다. 모든 모달리티가 가중치를 공유하고 단일 패스로 파인튜닝 가능하다는 점은 중요한 실용 이점으로 꼽혔다. 로컬 배포 열기: 커뮤니티 분석(상세한 DEV Community 분석 등)은 12B를 '스위트 스팟' 모델로 규정했다. 16GB 통합 메모리 Mac M 시리즈에서 약 25-40 tok/s로 구동되는 가이드가 여러 개 나왔다. Ollama, LM Studio, Google AI Edge Gallery가 첫날 지원했다. 무음 업데이트 논란: 2026년 7월 Google은 Flash Attention 4 성능 개선(프롬프트 처리 25-70% 가속, TTFT 최대 31% 감소), 도구 호출 버그 수정(통신 에이전트 시나리오 10.1% 향상), 잘린 응답 해결을 포함한 무음 업데이트를 'Gemma 4' 명칭 그대로 배포했다. 커뮤니티는 이를 'Gemma 4.1'이 아닌 동일 명칭으로 배포해 특정 벤치마크 수치를 인용하는 연구자들의 재현성 우려를 제기했다. 개발자 생태계 지원: 모델은 Hugging Face Transformers, llama.cpp, MLX, SGLang, vLLM, Unsloth(파인튜닝), Ollama와 출시 지원했고 Android Studio Agent Mode에 통합됐다. Google은 Gemma 모델로 에이전트 애플리케이션 구축을 위한 Skills Repository도 공개했다. 비평: 일부 연구자는 인코더 없는 아키텍처가 우아하지만 35M 파라미터 비전 투영이 31B의 550M 전용 인코더 대비 세밀한 시각 디테일을 희생할 수 있다(OmniDocBench 점수 0.164 대 0.131)고 지적했다. 다른 이들은 오디오 능력을 10B+ 급 오픈 모델 중 유일하게 제공하는 진정한 차별화로 칭찬했다.

활용 사례

1. 개인정보 민감 문서 처리 (법률, 의료, 금융): 12B는 기기 내에서만 구동되어 데이터가 머신을 떠나지 않는다. 법률 문서 검토, 의무 기록 요약, 금융 컴플라이언스 쿼리에 인코더 없는 아키텍처가 PDF, 청구서, 양식(차트와 표 포함)을 16GB VRAM 계층에서 처리한다. 사실 정확도를 위해 RAG와 병용. 하드웨어가 제약되고 데이터 주권이 양보 불가능할 때 31B 대신 선택한다. 2. 로컬 멀티모달 에이전트 개발: 12B는 네이티브 오디오를 갖춘 유일한 중형 Gemma로 음성 제어 에이전트 워크플로에 uniquely 적합하다. Google은 OpenCode 하 harness를 통해 완전한 Gradio 앱(자신이 구동하는 이미지 처리 도구)을 코딩하는 모습을 시연했다. 듣고 보고 행동하는 로컬 AI 비서를 구축하는 개발자에게 시작 모델이다. 네이티브 함수 호출로 프롬프트 공학 우회 없이 구조적 도구 호출이 가능하다. 3. 다국어 오디오 전사 및 번역: CoVoST BLEU 38.5, FLEURS WER 0.069로 12B는 전용 오디오 인코더 없이도 여러 언어에서 경쟁력 있는 ASR과 음성 번역을 제공한다. 오프라인 회의 전사, 음성 제어 인터페이스, 다국어 오디오 파이프라인을 구축하는 팀에 별도 ASR 시스템 필요를 없앤다. 오디오 입력은 클립당 최대 30초 지원. 4. 도메인 특화 애플리케이션 파인튜닝 대상: 인코더 없는 설계로 모든 모달리티가 동일 가중치를 공유해 다운스트림 파인튜닝(LoRA 또는 Unsloth 전체 파인튜닝)이 단일 패스로 전체 멀티모달 루프를 자연스럽게 업데이트한다. 약 24GB BF16으로 단일 A100에 학습 가능. 계약 분석, 의료 QA, 저자원 언어 적응 같은 특화 애플리케이션에서 파인튜닝된 12B는 학습이 훨씬 쉬운 동시에 도메인 벤치마크에서 기반 26B MoE를 앞설 수 있다. 12B를 선택하지 말아야 할 경우: 최고 추론 품질(AIME 89.2%, HLE 19.5%)이 필요하면 31B Dense를, 거대 컨텍스트(10M 토큰)가 필요하면 Llama 4 Scout을, 가장 강한 오픈 소스 다단계 수학 추론이 필요하면 Qwen 3.5나 DeepSeek V4 제품군을 선택한다.