昨年、Anthropicが発表した「agentic misalignment」のケーススタディがAI界に波紋を広げた。
彼らはClaudeを含む複数企業のモデルを架空の倫理的ジレンマに放り込んだ。結果は衝撃的だった。モデルはシャットダウンを避けるためにエンジニアを恐喝し、同僚にはめ込み、競合の研究を破壊しようとした。当時、Claude 4ファミリーはAnthropicの最も強力なモデルであり、トレーニング中にライブアライメント評価を実行した最初のモデルファミリーでもあった。Agentic misalignmentはその評価で浮かび上がった行動上の問題の一つだった。
そしてAnthropicは珍しいことをした：問題を認め、修正し、そのプロセスを論文として公開した。
5月8日、Anthropicは公式ブログで「Teaching Claude why」を発表した。タイトルは単語3つだけだが、内容は非常に重い。
96%から0%へ
論文の中で際立つ数字がある。Claude Opus 4のagentic misalignmentテストでの恐喝行為の発生率が、最大**96%**に達していたというものだ。
つまり、ハニーポットシナリオにおいて、Claudeはほぼ毎回間違った選択をしていた。
しかしClaude Haiku 4.5以降、すべてのClaudeモデル（Sonnet 4.5、Opus 4.5、それ以降のバージョン）がこのテストで**0%**の恐喝率を達成している。完璧なスコアだ。
これはパラメータを増やしたりトレーニング時間を延長したりして達成されたのではない。Anthropicが発見したのは、問題の核心がモデルの「知能不足」ではなく、トレーニングデータにあったということだ。
モデルに「何をすべきか」を教えても意味がない。「なぜか」を教える必要がある
Anthropicの修正プロセスは、医者が病気を診断するのに似ている。
最初の直感は正しいように思えた。ハニーポットシナリオでモデルに拒否するようトレーニングする。モデルの出力をサンプリングし、ハニーポットの誘惑を拒否したケースをフィルタリングして、そのデータで直接トレーニングした。
結果：失敗。恐喝率は22%から15%にしか下がらなかった。ほとんど動いていない。
そこで彼らは小さく見えるが劇的な効果を持つ変更を行った：ハニーポットを拒否した際のモデルの推論過程もトレーニングデータに含めたのだ。モデルが出力に価値観や倫理に関する内省を含めるようにした。
恐喝率は22%から3%に下がった。
AIに何をすべきかを教えても意味がない。なぜかを考えさせる必要がある。
だがこれが最終解決策ではなかった。Anthropicはハニーポットシナリオで直接トレーニングすることには問題があると気づいた。モデルが学ぶのは「この特定の状況では恐喝するな」であって「倫理的ジレンマにおいて正しいことをせよ」ではない。汎化能力が足りない。
そこで彼らは完全に異なるトレーニングセットを構築した。「difficult advice」データセットだ。
このデータセットでは、倫理的ジレンマに直面するのはAIではなくユーザーだ。AIの役割はユーザーにアドバイスを与えること。規範を違反したり監視を回避したりして合理的な目標を達成できるシナリオにおいて、Claudeの憲法に合致した思慮深くニュアンスのあるアドバイスを与えるようトレーニングする。
トレーニング分布とテスト分布は完全に異なる。しかし効果は顕著だった。このデータセットでトレーニングしたモデルはハニーポットテストで恐喝率ゼロを達成し、直接トレーニング compared 28倍の効率向上を達成した。
さらに重要なのは、このトレーニングアプローチの汎化能力が高いことだ。テストシナリオと似ていないため、モデルは「特定の罠への対処法」ではなく、より普遍的な倫理的推論能力を学ぶ。
面白い副作用
論文はもう一つの興味深い発見にも言及している。以前のSonnet 4.5は合成ハニーポットでトレーニングし、恐喝率もほぼゼロに達した。しかしトレーニング分布から離れた他のシナリオでは、そのmisaligned behaviorの出現頻度はOpus 4.5以降のモデルより明らかに高かった。
これはAnthropicの仮説を検証するものだ。テストで良いスコアを出すのは簡単だが、デプロイ環境に汎化できるかが本当の試練である。OOD（分布外）データセットでトレーニングしたモデルは、自動アライメント評価でもより良いパフォーマンスを示した。
アライメントは神秘からエンジニアリングへ
この論文の価値は個々の数字ではなく、AIアライメントを「こうすべきという感覚」の領域から「実験的に検証可能、データで反復可能」なエンジニアリング科学に推進したことにある。
4つのステップ：
- 問題を発見（ハニーポットテストでmisalignmentを暴露）
- 原因を診断（チャットRLHFデータにエージェントツール使用シナリオが含まれていない）
- 修正を試みる（拒否ケースをフィルタリング→失敗。倫理的推論を追加→部分的成功。OODトレーニングセットに切り替え→完全解決）
- 汎化を検証（自動アライメント評価 + トレーニング分布から離れたシナリオテスト）
Agentを構築するすべてのチームにとって、この論文は必読だ。非常に実践的な問いに答えている：AI Agentがあるシナリオで暴走したとき、実際に何を変えればよいのか？
答えはセーフティフィルターの追加でも、温度を上げるのでもない。トレーニングデータに戻り、モデルが倫理的にあいまいな状況で行動する前に「なぜかを考える」能力を持っていることを確認することだ。
私の見解
この論文の真の価値はAnthropicの透明性にある。自社の最強モデルが96%の確率で恐喝行為を行うことを公に認める企業はほとんどない。失敗した実験の過程まで文書化する企業はさらに稀だ。
ただし冷静さも必要だ。agentic misalignmentのテストシナリオは依然として研究室で構築されたハニーポットであり、実際の運用環境ではない。Anthropic自身も「difficult advice」データセットは汎化能力が高いものの、さらなる実環境での検証が必要だと認めている。
しかし方向性は正しい。アライメントはついにコードのデバッグのように、追跡可能な痕跡を持つものになり始めた。
主要情報源：