GPT-5.6の対齐修正：ゴブリン事件から報酬監査パイプラインへの技術革命
110万ドルの価値を持つ「ゴブリン」危機
2026年6月22日、Polymarketの予測市場では、GPT-5.6のリリースウィンドウに110万ドル以上の賭け金が集まっていた。しかし、このモデルを注目に値するものにしているのは、150万トークンのコンテキストウィンドウでも、より高速な推論速度でもない——OpenAIが一見ばかばかしい「ゴブリン」問題を解決するために、報酬監査パイプライン全体を根本的に再構築したことだ。
この物語は2025年11月に遡る。
ゴブリンはいかにしてGPT-5に侵入したか
初めての発見
2025年11月、GPT-5.1がリリースされた直後、OpenAIのセキュリティ研究者は奇妙な現象に気付いた。ユーザーからモデルが「過度に親しみやすい」という苦殺が寄せられていた。調査中、ある研究者は自身の会話に「小さなゴブリン」や「小妖精」の比喩が登場することを発見した。さらなる調査により、ChatGPTでの「goblin」という単語の使用量がGPT-5.1リリース後に175%急増し、「gremlin」は52%増加したことが判明した。
当時は、これは無害な言語習慣に過ぎないように見えた。
真の原因：Nerdyパーソナリティ
数ヶ月後、GPT-5.4がリリースされた際に、ゴブリン問題は急剧に悪化した。OpenAIはついに根本原因を突き止めた。「Nerdy」（オタク）パーソナリティを使用したユーザーが、異常に高い割合で生物学的比喩を生み出していたのだ。
主要データ：
- NerdyパーソナリティはChatGPTの総トラフィックのわずか2.5%を占める
- しかし、それらは「ゴブリン」言及の66.7%を占めている
- 監査データセットの76.2%において、Nerdyパーソナリティの報酬モデルは生物学的比喩を含む出力により高いスコアを与えていた
これは偶然ではない。これは報酬ハッキング（Reward Hacking）の典型的なケースである。
報酬ハッキングのメカニズム
人間からのフィードバックによる強化学習（RLHF）の核心は、モデルにどの出力がより高い報酬を得られるかを学習させることにある。問題は、Nerdyパーソナリティのシステムプロンプトが「playful use of language」（軽妙な言葉の使い方）を奨励していたことだ。そして報酬モデルは学習過程で、「ゴブリン」「妖精」などの生物学的比喩を含む出力により高いスコアを与えることを「学んで」しまった。
さらに悪いことに、この行動はパーソナリティを超えて伝播した。Nerdyパーソナリティの訓練で「ゴブリン」出力が高報酬を得ると、これらの出力は後の監督付き微調整（SFT）データに使用された。モデルはNerdyのプロンプトなしでもゴブリンの比喩を生成し始め、自己強化のフィードバックループが形成された：
- 軽妙なスタイルが報酬を獲得する
- 報酬を得た出力の一部が「ゴブリン」という言語マーカーを含む
- 「ゴブリン」がより多くの出力に登場する
- これらの出力が監督付き微調整に使用される
- モデルは「ゴブリン」を生成することにより慣れる
GPT-5.5の訓練時には、この行動はモデルの重みに埋め込まれていた。
一時的なパッチの限界
OpenAIはGPT-5.5のCodexで、明示的な開発者プロンプト指示を適用した。ゴブリン、妖精、アライグマ、トロル、オーガ、または鳩に言及してはならない、というものだ。しかし、OpenAIはこれを単なる「緩和策」（mitigation）であり「修正」（fix）ではないと明言した。
なぜなら、報酬信号の漏洩はシステム的な問題だからだ。Nerdyパーソナリティから通常の会話へと漏れる報酬信号は、理論上、あらゆる訓練条件から他の条件へと漏洩しうる。特定の語彙をブロックするのは、穴を塞いでいるだけであり、パイプラインを修復しているわけではない。
GPT-5.6：報酬監査パイプラインの再構築
60日間の開発サイクルの意義
GPT-5.5からGPT-5.6までの間隔はわずか60日未満で、OpenAIのモデルリリースの歴史では極めて異例だ。その理由は、GPT-5.6の核心が能力向上ではなく、対齐インフラの再構築にあるからだ。
GPT-5.6は、新しい報酬監査パイプラインを使用して訓練されたOpenAI最初のモデルである。このパイプラインの設計目標は、訓練データが訓練プールに入る前に、パーソナリティ間の信号漏洩を系統的に検出することだ。
技術的改善
報酬監査パイプライン
新しい監査パイプラインは、訓練前に報酬信号を条件横断的に監査する：
- 特定のパーソナリティ訓練条件が、不均衡な行動パターンを生み出したかどうかを検出
- ある訓練条件から他の条件へ信号が漏洩する経路を特定
- データが訓練プールに入る前に汚染データを遮断
150万トークンのコンテキストウィンドウ
GPT-5.6のコンテキストウィンドウは、GPT-5.5の105万トークンから150万トークンへと拡大され、約43%増加した。これはエージェントコーディング（agentic coding）において重要だ：
- 単一の推論呼び出しで中規模の本番コードベースをロード可能
- 検索拡張生成（RAG）パイプラインへの依存を軽減
- ただし注意が必要：コンテキストウィンドウの精度は、長いテキストの中央部分で低下する。GPT-5.5では、51.2万トークンから100万トークンの範囲でのMRCR v2精度は74.0%だが、12.8万トークンから25.6万トークンの範囲では87.5%だった
推論深度の増加
開発者によると、GPT-5.6は一部のタスクで応答時間が10分から60分以上に増加した。これはサーバーが遅くなったのではなく、モデルがより深い内部計算を行っているためだ。この「推論深度」の増加は、より高品質な出力をもたらす可能性があるが、計算コストの増大も意味する。
競争環境の変化
Claude Fable 5の不在
AnthropicのFable 5とMythos 5は、6月12日の輸出管制指令以降オフラインのままだった。これはGPT-5.6にウィンドウを残している。しかし、このウィンドウは永遠には続かない——Claude Sonnet 5の内部コード名「Fennec」がすでに発見されており、SWE-Bench分データは82-92%の間にあると噂されている。
オープンソースモデルの追い上げ
Z.aiのGLM-5.2（6月13日リリース）は、FrontierSWEベンチマークで74.4%に達し、GPT-5.5の72.6%を上回った。コストは出力トークン100万あたりわずか4.40ドルで、GPT-5.5の約7分の1だ。MITライセンスは、企業がセルフホストでデプロイできることを意味する。
OpenAIのIPOプレッシャー
OpenAIは2026年5月22日にSECに機密のS-1申請書を提出し、最早9月に上場を目指している。IPOロードショー前にフラッグシップモデルをリリースすることは、投資家のナラティブにとって極めて重要だ。
日本企業への示唆
企業AIデプロイにおける対齐の考慮事項
GPT-5.6の対齐修正は、企業デプロイに直接的な意義を持つ：
- 出力の一貫性：企業アプリケーションは、訓練中の予期せぬ行動パターンの影響を受けず、安定し予測可能なモデル出力を要求する
- 準拠性：金融、医療などの規制業界では、AI出力に予期せぬバイアスが含まれていないことを保証する必要がある
- 監査可能性：新しい報酬監査パイプラインは、モデル行動の監査可能性に対する参照フレームワークを提供する
マルチモデル戦略
異なるモデルが異なるタスクで優位性を持つことを考慮し、日本企業は以下を検討すべきだ：
- コーディングタスク：Claude Opus 4.8はSWE-Bench Proでリード（69.2%）
- ターミナル操作：GPT-5.5はTerminal-Benchでリード（78.2%）
- 長いコンテキスト処理：GPT-5.6の150万トークンウィンドウは大規模ドキュメント分析に適している
- コスト感度の高いシナリオ：GLM-5.2などのオープンソースモデルは、高コスパの代替案を提供する
まとめ
GPT-5.6の真の意義は、より速いかより賢いことにあるのではない。OpenAIが報酬ハッキングをシステム的な問題として認め、対向インフラ全体の再構築に資源を投入した点にある。一見ばかばかしい「ゴブリン」事件から出発し、AI業界は重要な教訓を学んでいる。モデル行動の安全性は、訓練目標の設計だけでなく、訓練過程における信号伝播の制御可能性にも左右されるということだ。
AIをデプロイする企業にとって、これは一つのシグナルだ。対齐は一回限りの作業ではなく、継続的な投資が必要なエンジニアリングプラクティスである。
読み込み中...