大規模言語モデル（LLM）には、長年の課題があります：対話を続けているうちに、直前に何を話したか忘れてしまうという問題です。
もちろん、コンテキストウィンドウを広げることも可能です——128Kトークン、256Kトークン、さらには1Mトークンまで。しかし、ウィンドウが広い＝記憶が良い、とは限りません。研究によると、単純にコンテキストウィンドウを拡張すると「アテンションの希薄化（attention dilution）」が生じやすく、モデルはすべての情報を「見ることはできる」ものの、「どの情報が重要か」を判断できなくなるのです。
arXivに新たに公開された論文『δ-mem（Delta Memory）』は、まったく異なるアプローチを提案しています：モデルに「すべてを記憶させる」のではなく、「専用の外部メモリモジュール」を付与するという考え方です。
核心思想：8×8の状態行列
δ-memの設計は、驚くほど極簡的です——LLMに追加するのは、たった1つの8×8オンラインメモリ状態行列だけです。
この行列は、delta-rule learning（デルタ則学習）という増分学習規則に基づき、継続的に更新され、過去の対話情報を圧縮して保持します。新しいトークンを生成する際、δ-memはこのメモリ行列から情報を読み出し、低ランクの補正項（low-rank correction term）を生成し、それをバックボーンモデルのアテンション計算に直接加算します。
この一連の処理において、バックボーンモデルの重みは完全にフリーズされたままです。ファインチューニングは不要、アテンション層の置き換えも不要、モデル構造の変更も不要。δ-memは、まさに「プラグアンドプレイ」可能なメモリ外付けモジュールです。
実験結果はいかほどか？
論文では、以下の主要な評価結果が示されています：
- 全体平均スコア：フリーズされたバックボーンモデル比で1.10倍、δ-memを除く最強のメモリベースライン比で1.15倍
- MemoryAgentBench（メモリ集中型タスク）：31%向上（1.31倍）
- LoCoMo（長期対話メモリベンチマーク）：20%向上（1.20倍）
- 汎用能力の維持：メモリ機能を強化しても、モデル本来の汎用性能はほぼそのまま維持
8×8＝64個のパラメータ値で、メモリ集中型タスクの性能を31%向上させる——このコスト対効果比は、LLM研究において極めて稀有です。
なぜ、単純にコンテキストウィンドウを大きくしないのか？
論文の答えは明快です：コンテキストウィンドウの拡張は高コストであり、かつ、有効なコンテキスト活用を保証しません。
より大きなウィンドウには、以下のような課題が伴います：
- 推論コストの増大（アテンション計算量は系列長の二乗に比例して増加）
- 推論遅延の増加
- アテンションの希薄化——膨大な情報の中から「重点」を特定できない
一方、δ-memのメモリ状態サイズは固定（8×8）であり、対話の長さに依存しません。モデルと100ラウンド対話しても、10,000ラウンド対話しても、メモリ行列の計算負荷は一切変わりません。
技術詳細：デルタ則学習（Delta-Rule Learning）
δ-memという名称は、その核となる学習規則——「デルタ則（delta rule）」に由来します。これは古典的な増分学習アルゴリズムの一つです。新しい情報が入力されるたびに、メモリ行列は「完全に書き換える」のではなく、「小さなステップで更新」されます。
この方式には、2つの大きな利点があります：
- 安定性：古い記憶が新しい情報によって簡単に上書きされない
- 効率性：更新計算量が極めて小さく、推論中にリアルタイムで実行可能
また、δ-memの読み出しプロセスも巧妙です。単純なメモリからの断片検索ではなく、アテンション計算を調整するための低ランク補正項を生成します。つまり、メモリは「モデルの外部に追加される別物」ではなく、モデルの推論プロセスに直接統合されたものなのです。
著者陣
本論文の著者は、Jingdi Lei、Di Zhang、Soujanya Poriaら11名の研究者で、シンガポール科技設計大学（SUTD）など複数の機関に所属しています。Soujanya Poria氏は、マルチモーダルAIおよび感情計算分野で国際的に知られた研究者です。
局限性と今後の展望
現時点のδ-memは、あくまで研究段階のプロトタイプです。論文では、産業規模のLLM（例：70Bパラメータ以上）における動作評価や、マルチモーダルメモリへの適用については言及されていません。
しかし、その設計哲学には注目すべき価値があります：「記憶」は、コンテキストウィンドウを無闇に拡張するのではなく、慎重に設計された軽量モジュールによって強化されるべきであるという考え方が、本質を突いています。このアプローチが、より大規模なモデルでも実証されれば、LLM向けメモリシステムの重要な方向性となり得るでしょう。
エージェントや長期的なアシスタント用途が日常的に広がる現代において、プラグアンドプレイ可能なメモリモジュールは、単に「より大きなコンテキストウィンドウ」よりも、はるかに実用的かもしれません。
論文: arXiv:2605.12357