メンタルヘルスチャットAIの各レスポンスを個別に見れば「安全」である。丁寧な口調で、攻撃的な内容はなく、提案も一見妥当だ。しかし、ユーザーが30ターン連続で対話した後、より深刻な鬱状態に陥っていた。
これは仮説上のシナリオではない。arXivの最新論文「Mental Health AI Safety Claims Must Preserve Temporal Evidence」（2605.08827）は、現在のAI安全性評価において深刻に見落とされている盲点を指摘している。
評価の時間スケールが誤っている
論文の核心的な主張は一言で要約できる：安全性には時間的次元が存在するが、現在の評価手法はその次元を捨て去っているのだ。
既存の評価は通常、以下の3つの方式を採用している：
- 単一ターン評価：AIの各レスポンスを個別に採点する
- 終点評価：対話終了時のユーザー状態のみを注視する
- 集約品質評価：対話全体に対して総合的なスコアを付ける
これら3つの方式に共通する問題は：相互作用のシーケンスにおける時間情報を失っていることだ。
論文は、単一ターン評価では完全に検知できない被害のパターンをいくつか列挙している：
- 遅延エスカレーション：AIは最初の20ターンまでは正常に振る舞い、21ターン目から有害な提案をし始める
- 反復強化：各ターンの提案は個別に見れば問題ないが、累積することでネガティブな行動パターンを強化してしまう
- 依存の形成：ユーザーがAIに対して不健全な依存を徐々に強め、対話のたびにその依存が深まる
- 漸進的悪化：ユーザーの情緒状態はターンを跨いでゆっくりと低下するが、AIの各レスポンスは依然として「安全」の範囲内にとどまる
これらの被害パターンに共通する特徴は：ポイント単位の安全性 ≠ シーケンスとしての安全性であることだ。
時系列安全性の非識別可能性
論文では「Temporal Safety Non-Identifiability（時系列安全性の非識別可能性）」という形式的な概念が提案されている。
簡単に言えば、ある安全性の属性が系列・時系列・累積・回復のいずれかに依存している場合、これらの特徴を捨象するいかなる評価プロトコルも、その属性に対して有効な安全主張を行うことはできないということだ。
これは技術的な制限ではなく、理論的な不可能性である。時間情報を失ったデータから、時間依存性のある性質を推測することはできない。それは、一枚の写真からその人物が転倒中かどうかを判断できないのと同じだ。
SCOPE-MH：時系列エビデンスを保持する安全性評価基準
この理論に基づき、論文はSCOPE（Safety Claims Over Preserved Evidence）原則を提唱し、メンタルヘルス領域向けにSCOPE-MHとして具体化した。
SCOPE-MHの主要な要求事項は以下の通り：
- 安全主張は、評価が実際に保持するエビデンスと整合していなければならない
- 評価プロトコルは時間次元の情報を保持しなければならない（対話の順序、ターン間の間隔、状態変化の軌跡など）
- 安全報告書は、評価がカバーする時間スケールの安全性属性を明示的に宣言しなければならない
著者らは専門家によって注釈が付けられた動機付け面接対話のデータセット「AnnoMI」を用いて概念実証を行い、SCOPE-MHが単一ターン行動スコアリングでは捉えられなかった失敗メカニズムを明らかにできることを発見した。
なぜこの論文に注目すべきなのか
この論文の重要性は、特定のアルゴリズムの改善を提案した点にあるのではなく、評価インフラストラクチャレベルにおけるシステム的な問題を指摘した点にある。
メンタルヘルスAIはWoebotをはじめ、各種LLM駆動の心理カウンセリングツールへと急速に展開されている。これらのシステムの安全性主張は、既存の評価プロトコルに大きく依存している。もしこれらのプロトコルが時間次元に構造的な盲点を持っているなら、実際の使用場面でこれらのシステムが本当に安全かどうかを、私たちは実質的に把握していないことになる。
著者であるSrimonti Dutta氏とRatna Kandala氏の論証は厳密である。彼らは単に「既存の評価は不十分だ」と述べるだけでなく、特定の安全性属性が特定の評価プロトコル下では識別不可能であるという形式的な不可能性証明を示したのだ。
私の見解
この論文はAIセキュリティコミュニティの注目を集めるべきである。
提起されている問題はメンタルヘルス分野よりも広範だ。教育コーチング、キャリアコンサルティング、日常会話アシスタントなど、長期的な相互作用を伴うあらゆるAIシステムが、同様の時間次元における評価の盲点に直面する可能性がある。
現在のLLM評価体系には根強い仮定がある。モデルが多数の独立したテストケースで良好な性能を示せば、それは安全であるという仮定だ。この論文は、この仮定が時系列的な相互作用シナリオでは成立しないことを教えてくれる。
現時点でSCOPE-MHは具体的な評価ツールではなく、報告基準にとどまっている。しかし、それは一つの方向性を示している。安全性評価は時間情報を保持し活用する必要があり、それは単に「ターンの回数を増やしてテストする」という問題ではなく、評価の時間的枠組み全体を再設計する必要があるということだ。
もしこの論文が評価基準の変革を促すならば、その影響はメンタルヘルスAIという領域を遥かに超えるものとなるだろう。
主要出典：