エージェント＋強化学習の道を皆歩んでいるが、訓練コストは避けられない問題だ。従来のアプローチは、人間の注釈データで教師あり微調整するか、より強力な「教師モデル」を使って学生エージェントを指導する——どちらにせよ高コスト。
Self-Distilled Agentic Reinforcement Learningのアプローチは：エージェントに自分自身の教師をさせる。
自己蒸留の仕組み
基本的なフローは複雑ではない：
- エージェントが環境でタスクを実行し、軌跡を収集
- これらの軌跡から高品質なサブセットをフィルタリング（高報酬、短いステップ、タスク成功など）
- これらの高品質軌跡を「自己生成訓練データ」として使用し、エージェント自身に蒸留更新を適用
- 反復：更新されたエージェントがより良い軌跡を生成し、より良い軌跡がより良い蒸留データを生成
このループの核心は「フィルタリング」にある——すべての軌跡が有用なわけではない。うまくいったものだけが蒸留に値する。
なぜこれが重要か
従来のRLエージェント訓練の痛点：
- サンプル効率の低さ：何かを学ぶには大量のインタラクションが必要
- スパース報酬：多くのタスクは最終的にしか報酬信号がない
- 教師モデルが高価：より強力なモデルを教師として使うと効果的だが、コストが数倍
自己蒸留は本質的にエージェントに「自己反省」メカニズムを取り付けるものだ。各ラウンドの後、エージェントは自分が何がうまくいったかを振り返り、良い做法をポリシーに内化する。
僕の判断
Self-distilled agentic RLの方向性は正しい。エージェントの未来は人間の注釈データを積み上げるのではなく、インタラクションを通じて自律的に学習・進化できるエージェントにある。
主要ソース：
- Hugging Face Daily Papers（2026-05-15）
- 論文著者チーム（11名）