何が起きたか
Qwen3.5/3.6シリーズモデルは思考モード（thinking mode）に対応しているが、実際の使用では深刻な過剰思考に陥ることが多い。モデルが<think>タグ内で大量の冗長な推論ステップを生成し、トークン消費が爆発的に増加して応答速度が低下する一方で、精度の向上は見られない。
4月28日、X上で317いいね、514ブックマークを獲得した投稿が解決策を提示した。Grammarベースの制約ルールにより、Qwenシリーズモデルのthinkトークン消費を最大22倍削減しつつ、精度を維持できるというものだ。
仕組み
核心となるアイデアは、Grammarルールによって推論フェーズでモデルに構造化された推論形式を強制し、漫然と思考を展開させるのではなく、一定の形式に沿って思考させることだ。
具体的な実装はEBNFスタイルのルートルール：
root ::= think code
think ::= "<think>\n" "GOAL: " line "APPROACH: " line "EDGE: "このルールにより、モデルは<think>ブロック内で以下の3つのことのみを行うよう強制される：
| ステップ | 内容 | 役割 |
|---|---|---|
| GOAL | 目標を明確化 | 脱線を防止 |
| APPROACH | 方法の概要 | 推論パスを制約 |
| EDGE | 境界条件 | 過度な展開を防止 |
モデルがこの構造に従えば、無限に「独り言」を続けることはなくなり、thinkフェーズのトークン数が数千から数百に削減される。
なぜ重要なのか
トークンエコノミクスの観点
APIユーザーにとって、thinkトークンは直接コストに直結する。過剰思考は応答速度を低下させるだけでなく、1回あたりの呼び出し費用を数倍に増大させる。thinkトークンを22倍削減することは、以下の意味を持つ：
- コストの直接削減：1回あたりのAPI呼び出し費用が大幅に低下
- 速度の向上：短い推論チェーン = 高速な初回文字応答
- UXの改善：ユーザーがモデルの「独り言」を待つ必要がなくなる
Qwenエコシステムへの意義
Qwen3.5/3.6のthinking modeは諸刃の剣だ。有効にすると推論能力が大幅に向上する一方、トークン消費が多くのユーザーを躊躇させる。このソリューションは、モデルの重みを変更することなく、推論時の制約によってthinking modeの実用性を「解放」するものだ。
効果比較
| 指標 | 思考モード（原版） | + Grammar制約 |
|---|---|---|
| Thinkトークン数 | 約2000〜5000 | 約100〜250 |
| 精度 | ベースライン | ほぼ同等 |
| 応答時間 | 長い（大量のthinkトークンを待つ） | 短い |
| APIコスト | 高い | 大幅に削減 |
はじめ方
- Grammar制約をサポートする推論フレームワークを使用する：llama.cpp、vLLM（guided decoding付き）、Ollamaなど
- リクエストに上記Grammarルールを注入する
- 有効化前后的なトークン消費と精度を比較する
すでにQwen3.5/3.6を本番デプロイしているチームにとって、このソリューションはほぼゼロコストで導入できる。モデルの再トレーニングは不要で、推論設定を変更するだけだ。
市場の見通し
これはより広いトレンドを反映している。推論時最適化（inference-time optimization）が、モデルトレーニングと同じくらい重要な研究方向になりつつある。「過剰思考しない」モデルを数ヶ月かけて再トレーニングするよりも、数十行のルールで推論時に出力を制約する方が効率的だ。
今後、同様のアプローチがより多くのシナリオに拡大する可能性がある。出力長の制御、推論スタイルの制約、構造化回答の誘導などだ。Qwenエコシステムはこの分野で先行している。