ベクトルデータベースはここ2年、AIインフラで最も混雑したトラックだ。Chroma、Milvus、Pinecone、Weaviate——誰もがembeddingの物語を語っている。そこにPageIndexが現れ、言った。ベクトルはやめよう。推論を使おう。
embeddingモデルを「改良」する話ではない。根底からの考え直しだ。
何をしたのか
PageIndexの核心理念は名前にある。Document Index for Vectorless, Reasoning-based RAG。
従来のRAGパイプラインは単純だ。文書をチャンク → embedding → ベクトルDBに保存 → ユーザークエリをembedding → コサイン類似度で検索 → プロンプトに投入。問題点は何か。ベクトル空間での「類似」は「関連」ではない。
PageIndexは検索を推論プロセスに変える。ドキュメントを固定次元のベクトルに変換するのではなく、推論可能なドキュメント索引構造を構築する——検索時にモデルに論理的判断をさせる。
GitHubで31,279スター、今週だけで2,805スター増加。フォーク数は2,665。ただ見ているだけでなく、実際に使っている人がいる証拠だ。
私の判断
PageIndexはベクトルデータベースの代替品ではない。少なくとも現時点では。推論ベースの検索は精度で優位性があるが、コストと速度は課題だ。向いているシナリオ：
- 法律、医療、金融など高精度検索が必要な専門分野
- ドキュメント量は多いがクエリ頻度は高くない
- 検索品質がレイテンシーより遥かに重要な場面
ベクトル検索がRAGを支配してきた这几年、「意味的類似 = 情報の関連性」という仮定がデフォルトだった。PageIndexはその仮定に挑戦している。挑戦が成立するかは、より多くの実測データが必要だ。だが少なくとも一つ証明した。RAGの道は、まだ終わっていない。
主なソース：