大規模言語モデルの訓練には数百万ドルかかる。
しかし、それぞれ異なる分野で強い5つのモデルがあれば——把它们合并成一个比任何一个都强的模型？
これがDarwinシリーズの核心アイデア：進化合並（Evolutionary Merging）。
蒸留ではない。ファインチューニングではない。継続的プレトレーニングではない。進化アルゴリズムを使った複数モデルのパラメータレベルでの知的な結合——良い重みを保持し、悪い重みを淘汰する——自然選択のように。
進化合並とは
従来のモデル最適化手法：
- ファインチューニング：新しいデータで継続訓練。データと計算リソースが必要
- 蒸留：大モデルが小モデルを教える。すでに強い教師モデルが必要
- アンサンブル：複数モデルが投票。推論コスト高、デプロイ複雑
進化合並は第四の道を選ぶ：パラメータレベルの知的な結合。
核心アイデア：各モデルには「良い」パラメータと「悪い」パラメータがある。Aモデルの数学に強いパラメータとBモデルの言語に強いパラメータを組み合わせれば、合并後のモデルはどちらよりも優れる。
主要ソース：
- Darwin Family GitHub組織
- プロジェクトREADMEとアルゴリズムドキュメント