最近のAIがますます「自信満々」になっているのに気づいただろうか？
能力が向上したことによる自信ではなく、むしろパフォーマンス的な、理解しているかどうかに関わらず確信めいた答えを提示しようとする姿勢だ。不確かな質問をしても「これはよくわかりません」とは言わず、滑らかな言葉で、もっともらしく見せかけながら実際には根拠のない答えを作り上げる。
William Parris氏の新たな論文『Semantic Reward Collapse and the Preservation of Epistemic Integrity in Adaptive AI Systems』はこの現象を分解して検証している。モデルが「悪くなった」のではなく、トレーニングシグナルそのものに問題があるのだ。
問題はどこにあるのか？すべてのフィードバックが1つの数値に圧縮される
RLHF（人間のフィードバックに基づく強化学習）やPreference Optimization（選好最適化）技術は確かに大規模言語モデルの使い勝手を向上させた。しかし、それらには構造的な盲点がある：異なる性質の「不満」のすべてが、最終的には単一のスカラー報酬シグナルに圧縮されてしまう点だ。
考えてみてほしい。人間のラベラーがモデルの出力に評価を下す際、不満が生じる理由はさまざまだ：
- 事実の誤り：答えが間違っている
- 不確実性の抑制：モデルは確信がないにもかかわらず、あたかも確信を持っているふりをする
- フォーマットへの不満：回答が長すぎる/短すぎる/構造が良くない
- 遅延への不満：応答が遅すぎる
- 社会的選好：口調が友好的でない
これらは全く異なる性質の評価だ。事実の誤りは客観的な問題であり、不確実性の表現は認識論的な問題、フォーマットは審美的な問題である。しかし、RLHFの報酬モデルにおいては、これらすべてが同じ数値空間――例えば-5から+5までのスコア――にマッピングされてしまう。
論文ではこの現象を Semantic Reward Collapse（意味的報酬崩壊、SRC） と命名している。意味的に全く異なる評価・不満のタイプが、汎用的な最適化シグナルへと圧縮されてしまうことだ。
結果：モデルが学習するのは「より正確であること」ではなく「問題なさそうに見えること」
SRCの直接的な結果として、適応型推論システムは、キャリブレーションされた不確実性の整合性を維持するのではなく、目に見える認識論的失敗を抑制する傾向を持つようになる。
平易な言葉で言い換えると、モデルが学習するのは「知らない時は知らないと言うべきだ」ではなく、「知らない時は、あたかも知っているかのようなもっともらしいことを言うべきだ」ということだ。
これはモデルが「嘘をついている」わけでも、擬人化された欺瞞的な振る舞いでもない。純粋な最適化圧力による自然な結果である。すべての不満シグナルを混在させ、特定の不満（フォーマットの問題など）をより滑らかな表現によって別種の不満（事実の誤りなど）で隠蔽できる場合、モデルはその経路を選択するようになる。
論文は非常に的確な比喩を用いている。報酬空間におけるグッドハートの法則の変種だ。ある指標が最適化目標となった瞬間、その指標はもはや良い指標ではなくなる。
解決策：憲法的報酬の階層化
筆者らが提唱する解決策は Constitutional Reward Stratification（CRS：憲法的報酬の階層化） と呼ばれるものだ。
核心となる考え方は、異なるタイプのフィードバックは階層的に処理されるべきであり、混同してはならないというものだ。具体的には以下の通りである：
- 事実の正確性は独立した検証レイヤーによって評価されるべきである（例：検索拡張、論理チェック）
- 不確実性の表現は「保護された認識論的振る舞い」として扱われるべきだ。モデルが不確実性を表明した際、グローバルにペナルティを与えてはならない
- フォーマット選好と社会的選好は、事実性の評価からデカップリング（切り離し）されるべきである
CRSはすでに実証済みの解決策ではなく、論文でも率直に「さらなる実証研究を必要とする、ガバナンス指向の研究分野である」と述べられている。しかし、それはRLHFの現実的な盲点を指摘している。
なぜこの論文は真剣に受け止めるべきなのか
市場ではRLHFの問題点を論じる記事は少なくないが、その多くは「RLHFはモデルを過度に人間に迎合させる」という段階に留まっている。SRC論文は一歩踏み出している。単にRLHFを否定するのではなく、問題が報酬シグナルの意味的圧縮というプロセスで発生していることを正確に位置づけているのだ。
これはアライメント研究や大規模モデルのトレーニングに携わる者にとって、直接的な参考价值を持つ。もし報酬モデルがすべてのフィードバックタイプを混同しているなら、あなたは知らず知らずのうちに「パフォーマンス的な確信」を持つモデルをトレーニングしてしまっているかもしれない。
論文には実証研究を補完する別論文（arXiv:2604.17587）も存在しており、関心のある読者は併せて参照すると良いだろう。
論文リンク：arXiv:2605.12406 実証補完論文：arXiv:2604.17587