C
ChaoBro

LMSYS 3年アリーナデータレビュー:オープンソースモデルがクローズドとの格差を縮める

LMSYS 3年アリーナデータレビュー:オープンソースモデルがクローズドとの格差を縮める

2023年初頭、クローズドモデルはChatbot Arena Text Arenaでオープンソースを250ポイントリードしていた。

2026年初頭、この数字は一桁に落ちた。

LMSYSが昨日公開した3年間にわたるデータセットは、多くの人が抱えていた疑問に答える:オープンソースモデルは追いついたのか?

答えは基本的にイエス。ただし、すべてのドメインで均等ではない。

Text Arena:+250から一桁へ

最も直感的な曲線だ。DeepSeek R1が2025年初頭に一時的に逆転し、オープンソースに歴史的なアリーナリードをもたらした。

Code Arena:さらに速い圧縮

Code Arenaの歴史は短いだが、格差縮小の速度はより急。+100から+40へ。

Expert Prompt:クローズドがまだ+40を維持

Expert Promptが最も難しいアリーナ。クローズドモデルはここでまだ+40のリードを維持している。

誰がこの傾向を牽引しているか

DeepSeek R1、Qwen 3.6、Kimi K2.6—これらのオープンソース/オープンウェイトモデルが主役だ。


主要ソース: