主要な結論
Qwenチームは4月30日、疎自己符号化器（SAE）に基づく解釈可能性ツールキット Qwen-Scope をオープンソース化した。Qwen3およびQwen3.5シリーズモデルの内部の「数字の塊」を独立した意味方向スイッチに分解し、研究者がモデルがどの言語を話しているか、どのエンティティに言及しているか、どのようなトーンで表現しているかを、初めて人間が読める方法で「見る」ことを可能にする。
これはモデルのセキュリティ監査、ハルシネーショントレーシング、制御された生成に実質的な意味を持つ。
技術解説：SAEがモデルに「X線」を提供する方法
問題の背景
大規模モデルの内部動作メカニズムは長い間ブラックボックスとされてきた。Qwen3-Next、Qwen3.5、Qwen3.6シリーズが使用するGDN（Gated Delta Network）線形アテンションレイヤーは、推論時に大量の中間活性化値を生成するが、これらの数字は人間にとって完全に読めない。
Qwen-Scopeのアプローチ
| コンポーネント | 機能 | 比喩 |
|---|---|---|
| 疎自己符号化器 (SAE) | 高次元活性化値を低次元疎表現に圧縮 | 毛糸の塊を一本一本の糸に分解する |
| 意味方向スイッチ | 各方向が解釈可能な意味特徴に対応 | 電灯スイッチ — オンかオフ |
| 可視化レイヤー | スイッチの状態を人間が読めるラベルにマッピング | X線写真の解剖学的注釈 |
既知の機能（初回リリースの7つの次元）
- 出力言語 — モデルが現在使用している言語
- エンティティ認識 — 言及された特定の人物、場所、組織
- 話法スタイル — フォーマル/インフォーマル/テクニカル/口語
- タスクタイプ — コーディング/ライティング/翻訳/推論
- 感情傾向 — ポジティブ/ニュートラル/ネガティブ
- 知識ドメイン — 科学/歴史/金融/法律
- セキュリティ関連 — センシティブな話題を含むかどうか
なぜこれが重要なのか
1. モデルセキュリティの「監査ツール」
規制が強化される中（EU AI法、中国の深層合成管理規定）、モデル開発者は「なぜモデルはこの出力をしたのか？」に答える必要がある。Qwen-Scopeは推測ではなく、どのスイッチがトリガーされたかを「見える化」する監査可能なパスを提供する。
2. ハルシネーションの追跡
モデルがハルシネーションを起こした際、Qwen-Scopeを使ってどの意味方向が誤って活性化されたかを遡ることができる。
3. 制御された生成の新しいパラダイム
プロンプトエンジニアリングでモデルを「誘導する」のではなく、SAE特徴で直接介入できる。
Qwen-Scopeのオープンソース化は、解釈可能性の分野における中国モデルの実質的な一歩を示している。