ELYZA-Thinking-1.0-Qwen-32B

ELYZA-Thinking-1.0-Qwen-32Bは、ELYZAが開発した日本初の特化型推論モデルです。OpenAIのo1シリーズと同様のChain-of-Thought（CoT）アプローチを使用して、複雑な論理的および数学的問題に取り組みます。このモデルはAlibabaのQwen2.5-32B-Instructを基にしており、最適な推論パス探索のための革新的なモンテカルロ木探索（MCTS）ベースのアルゴリズムを使用して生成された約150,000の高品質合成データセットで微調整されています。このプロセスにより、320億パラメータのモデルが主要な推論ベンチマークでOpenAIのo1-miniと同等の性能を達成し、寛容なApache 2.0ライセンスの下でオープンウェイトのままです。

重要な革新はデュアルモデルアプローチです。主な推論モデルに加えて、ELYZAは同じ問題セットで訓練されたが長い推論プロセスのない「Shortcut Models」（32Bおよび7Bバリアント）をリリースしました。Shortcutモデルは一般的なタスクでGPT-4oと同等の性能を達成し、訓練中に開発された複雑な推論能力をより高速で直接的な応答モデルに蒸留できることを示しています。この研究は、強力かつ効率的なモデルを作成するために推論から開発フェーズへと重い計算コストを移すというAI開発の成長トレンドを強調しています。

数学的および論理的推論に優れている一方、モデルにはトレードオフがあります。コーディング能力はベースモデルと比較してわずかに低下しており、特化したトレーニングデータにコーディングタスクが不足していたことを示唆しています。それでも、日本語AIにとって重要なマイルストーンであり、特化した推論タスクの最先端を進める強力で商業的に実行可能なオープンソース推論モデルを提供します。