ACL 2026メイン会議の1本の論文が、言語学界で半世紀にわたり研究されてきた概念をLLMに応用した。
人間の読解研究では以前から「頻出する単語ほど、人は速く読める」ことが知られている。では、大規模言語モデルはどうだろうか？
香港中文大学の研究チームはarXiv:2604.02176において明確な答えを示した。LLMも高頻度のテキストを好むというのだ。彼らはこの現象をAdam's Law（テキスト頻度法則、TFL）と命名し、その検証と活用に向けた包括的なフレームワークを構築した。
核心となる考え方はシンプルだが、効果は予想外
論文の3ステップからなるフレームワークの論理は非常に明快だ：
ステップ1：頻度の推定。 多くのモデルの学習データは非公開であるため、チームはオンラインリソースを用いて文レベルのテキスト頻度を直接推定した。要するに、ネット上で類似の表現がどれだけ使われているかを調査したということだ。
ステップ2：書き換え。 インプットパラフレーザーを用いて、ユーザーの入力をより高頻度の表現に書き換える。内容を変えるのではなく、言い回しを変えるのだ。例えば、難解な学術的な構文を、より口語的で一般的な表現に置き換えるといった具合だ。
ステップ3：カリキュラム学習によるファインチューニング。 彼らはCurriculum Textual Frequency Training（CTFT）を提案し、文の頻度が低いものから高いものへと順にモデルをファインチューニングする。難しいもの（低頻度）から学び、その後で簡単なもの（高頻度）を学ぶというアプローチだ。
数学的推論、機械翻訳、常識推論、エージェントのツール呼び出しという4つの実験グループにおいて、結果は一貫していた。高頻度の表現ほど、モデルの理解度が向上するというものだ。
この発見の意義とは
まず見落とされがちな点から述べよう。これまでプロンプトエンジニアリングにおける直感は「正確であればあるほど良い」というものだった。モデルに対して明確で厳密、かつ曖昧さのない表現を与えるのが定石だ。しかしAdam's Lawは直感に反する方向性を示唆している。時には「正確さ」よりも「一般的であること」の方が効果的なのだ。
正確性を犠牲にすべきだと言っているわけではない。同じ意味でも、一般的な構文で表現した方が、モデルの処理効率は高まる。その背景には、事前学習データの分布が関係している可能性がある。モデルは学習過程で一般的な表現パターンをより多く目にしており、それに対応する活性化パスがより熟達しているのだ。
実務的な観点から見れば、これはプロンプト最適化に新たな次元をもたらす。「プロンプトをより具体的にする」だけでなく、「プロンプトをより一般的にする」という視点も考慮できるのだ。
限界も理解しておく必要がある
論文のフレームワークにはいくつかの前提条件があり、利用する際は注意が必要だ：
- 頻度推定はオンラインリソースに依存する。 高度に専門化された分野（特定の業界用語など）では、オンラインリソースのカバレッジが不十分であり、頻度推定の精度が低下する可能性がある。
- パラフレーザー自体がモデルである。 書き換えの品質はパラフレーザーの能力に依存するため、追加の推論コストが発生する。
- CTFTにはファインチューニングが必要。 ゼロショットソリューションではなく、計算リソースとデータが必須となる。
また、この発見は現時点では4つのタスクでのみ検証されている。コード生成や長文推論といったタスクにも同様に適用できるかどうかは、さらなる実験が必要だ。
注目すべき今後の方向性
ジップの法則（単語頻度分布の法則）が自然言語における「万有引力」だとすれば、Adam's LawはLLMの学習コーパス分布がモデルの振る舞いに投影されたものと言えるかもしれない。
興味深いことに、この発見はモデルの解釈可能性研究で明らかになった「活性化のスパース性」という現象と、何らかの内在的な関連があるように思われる。モデルが高頻度入力に対してより効率的な応答パスを持つのであれば、「頻度を認識する」推論高速化スキームを設計できる可能性はないだろうか？
私自身は現時点でこれに取り組む予定はない。しかし、もしこの方向性を深く掘り下げるチームがあれば、非常に注目したい。
主な情報源：
- arXiv:2604.02176 - Adam's Law: Textual Frequency Law on Large Language Models（ACL 2026 Main Conference）
- HuggingFace Daily Papers 2026-05-12