StepFun, 초고속 MoE 모델 'Step-3.5-Flash' 오픈소스 공개: 유효 파라미터 11B로 최대 350tokens/s 경이적 속도 달성
중국 AI 스타트업 스텝펀(StepFun AI)이 오픈소스 기반 언어 모델 'Step-3.5-Flash'를 공개했습니다.
이 모델의 가장 큰 특징은 프론티어급 성능과 극도로 빠른 추론 속도를 동시에 달성했다는 점입니다. 특히 에이전트(Agentic) 활용을 강하게 염두에 둔 설계로, 생성 AI의 실용화 단계에서 중요한 마일스톤이 될 가능성을 품고 있습니다.
희소 MoE 아키텍처: 규모와 효율을 동시에 잡는 핵심 기술
Step-3.5-Flash가 경이적인 효율을 실현할 수 있었던 비결은 희소 혼합 전문가(Sparse Mixture-of-Experts, MoE) 아키텍처를 채택한 데 있습니다.
MoE는 하나의 거대한 네트워크 대신 복수의 '전문가(Expert)' 네트워크를 병렬로 배치하는 구조입니다. 입력 토큰에 따라 필요한 전문가만을 동적으로 활성화하기 때문에 계산량을 극적으로 줄일 수 있습니다.
Step-3.5-Flash의 총 파라미터 수는 196B(1960억)에 달하는 방대한 규모이지만, **1개 토큰 추론에 사용되는 유효(Active) 파라미터는 불과 11B(110억)**입니다. 이는 전체의 약 5.6%에 해당합니다.
즉, '지식'으로서 196B의 광대한 파라미터를 보유하면서도, '사고'에 필요한 연산 자원은 11B 수준으로 충분하다는 뜻입니다. 규모와 속도의 이상적인 균형을 실현한 셈이며, 이를 통해 다음과 같은 두 가지 이점을 누릴 수 있습니다.
- 메모리 효율 향상: 전체 파라미터를 로드해야 하는 기존의 밀집 모델(Dense Model)에 비해 필요 메모리 양을 대폭 줄일 수 있습니다.
- 계산 속도 향상: 활성화되는 연산량이 적어 동일 하드웨어에서 훨씬 빠른 토큰 생성이 가능합니다.
압도적인 성능 데이터: 속도에만 그치지 않는 '지능'
공개된 기술 상세 및 벤치마크에 따르면, 이 모델의 강점은 단순한 '빠르기'에만 있지 않습니다.
추론 속도의 임팩트
- 표준 처리량(Throughput): 100~300 tokens/s
- 피크 처리량(코딩 등): 최대 350 tokens/s
이 수치는 A100 80GB GPU 1장 등의 환경에서 측정된 것으로 추정됩니다. 기존 동급 밀집 모델이 수십 tokens/s인 것과 비교하면 거의 한 자릿수에 가까운 고속화를 실현한 셈입니다.
범용 성능 및 에이전트 최적화
성능 측면에서는 중국 내 경쟁 모델인 'Kimi K2.5'나 'Qwen2.5' 계열 최신 모델과 동등 이상의 점수를 기록하고 있습니다. MMLU(상식 추론), GSM8K(수학), HumanEval(코딩) 등의 표준 테스트에서 MoE화에 따른 성능 저하가 극히 작다는 것이 입증되었습니다.
아울러 이 모델은 '신뢰할 수 있는 에이전틱 인텔리전스(Agentic Intelligence)'를 지향합니다. 단발성 QA뿐만 아니라, 다단계 추론, 도구 사용, 계획 수립 같은 복잡한 워크플로우에서 높은 성공률과 일관성을 발휘하도록 설계되었습니다.
폭발적 속도를 뒷받침하는 또 하나의 열쇠: Multi-Token Prediction (MTP-3)
Step-3.5-Flash의 속도 비결은 MoE만이 아닙니다. Multi-Token Prediction(MTP), 특히 한 번에 3개의 토큰을 예측하는 'MTP-3'의 도입이 매우 중요합니다.
기존 트랜스포머는 '다음 1개 토큰'만 예측하지만, MTP는 미래의 복수 토큰을 병렬로 예측합니다. 이를 통해 첫 글자가 나오기까지의 시간(레이턴시)은 유지하면서 단위 시간당 생성량(처리량)을 극적으로 향상시킬 수 있습니다.
'350 tokens/s'라는 경이적인 수치는 MoE에 의한 계산량 감소와 MTP-3에 의한 처리량 향상, 두 가지 효율화 기술이 결합된 '콤비네이션'의 결과라고 할 수 있습니다.
업계에 미치는 영향: 중국발 오픈소스 MoE의 부상
이번 릴리스에서 현재 AI 업계의 명확한 트렌드를 읽을 수 있습니다.
1. '효율'이 다음 주전장으로
모델 규모(파라미터 수) 경쟁에서 단위 연산비용 대비 성능을 겨루는 단계로 전환하고 있습니다. 최고 정밀도를 추구하는 것뿐만 아니라, 어떻게 저비용으로 실용적인 속도를 끌어내느냐가 핵심이 되고 있습니다.
2. 중국의 전략적 오픈소스 공개
Meta의 Llama 시리즈에 이어 Qwen, Yi, DeepSeek, 그리고 StepFun까지 중국 기업들이 고성능 모델을 적극적으로 공개하고 있습니다. 이는 개발자 커뮤니티를 자사 생태계로 끌어들여 업계 표준을 장악하려는 전략적 움직임입니다.
3. AI 에이전트 실용화 가속
에이전트의 최대 병목은 사고 단계마다 발생하는 대기 시간이었습니다. Step-3.5-Flash 같은 고속 모델이 보급되면 복잡한 태스크를 수행하는 에이전트가 현실적인 시간 내에 동작하게 되어 실용화의 진입장벽이 크게 낮아집니다.
한국 개발자가 '지금 해야 할 것': 실전 가이드
이 기술 물결을 포착하기 위해, 국내 AI 개발자와 기술 담당자에게 다음 세 가지 액션을 권장합니다.
- 먼저 정량 평가를: GitHub(stepfun-ai/Step-3.5-Flash)에서 모델을 내려받아 자사의 유스케이스(요약, 코드 생성 등)에서 기존 모델과 비교해 속도-품질 트레이드오프가 얼마나 유리한지 검증해 보세요.
- 에이전트 파이프라인 통합: LlamaIndex나 LangChain과 결합해 '웹 검색 → 요약 → 리포트 작성' 같은 멀티스텝 태스크를 시도해 보세요. 응답 속도 향상은 사용자 경험(UX)을 극적으로 개선합니다.
- 최신 효율화 기술 학습: 이 모델은 MoE와 MTP라는 최첨단 기술의 '살아있는 교과서'입니다. 양자화(GPTQ, AWQ)나 지식 증류를 적용해 어디까지 경량화할 수 있는지 실험하고, 자사 모델 최적화에 대한 인사이트를 축적하세요.
요약 및 전망
Step-3.5-Flash는 LLM의 실용화에 있어 '효율'이야말로 가장 중요한 과제임을 선명하게 보여주었습니다.
향후에는 이 아키텍처가 더욱 대규모 모델(1T급 등)에 적용되어, 'GPT-4급 지능을 실시간 속도로' 이용하는 시대가 올지도 모릅니다. 또한 고속 '사고 엔진'으로서의 사실상 표준(de facto standard)이 된다면, AI가 인간의 업무 프로세스에 매끄럽게 통합되는 사례가 폭발적으로 늘어날 것입니다.
국내 개발자에게도 이 강력한 '새로운 무기'를 빠르게 확보하고, 실용적인 애플리케이션 개발을 가속할 절호의 기회입니다.
로딩 중...