生成AIの性能比較で見かけるベンチマークは、何を測っているのか――主な指標の概要と、読むときの注意点を整理します。
この記事でわかること
- 主なベンチマークの概要
- 読むときの注意点
- 順位を書かない理由
結論から言うと、ベンチマークは、それぞれ測っているものが違います。順位だけで、優劣を判断しないことが大切です。
1. 主なベンチマーク
- MMLU：57の分野の多肢選択で、知識を測る（2020年9月公開）
- GPQA：生物、物理、化学の専門家が作成した、大学院レベルの4択。448問で、専門家（博士）の正答率は65％、非専門家は34％（Web検索が可能な条件）
- SWE-bench：GitHubの実際のIssueに対して、コードベースを見てパッチを生成し、解決できるかを測る
- Chatbot Arena（現在のLMArenaなど）：匿名の2つのモデルを、ユーザーが比較して投票し、Eloレーティングで順位をつける
2. 読むときの注意点
- 選択式は、飽和しやすい
- 公開されている問題は、学習データへの混入が懸念される
- Arenaは、文体や長さなどの好みに、影響されうる。投票の操作に関する研究もある
- 報告される値は、各社の条件（プロンプト、試行の回数、ツールの有無）で異なり、単純に比較できない
これらは、公式の断定ではなく、一般的な整理を含みます。
3. 順位を書かない理由
モデルの世代交代が速いため、この記事には、順位や具体的な数値を書いていません。日付のついた、公式のリーダーボードを、ご確認ください。
4. 確認できていないこと
- MMLUの原論文の、公式のURL
- Chatbot Arenaの、最新のドメイン
まとめ
- ベンチマークは、それぞれ測るものが違う
- 条件が違えば、単純に比較できない
- 順位は、公式のリーダーボードで確認する
よくある質問（FAQ）
Q. どのベンチマークを見ればよいですか？
使う目的に近い指標を、選びます。
Q. 順位の高いモデルが最適ですか？
目的に合うかは、実際に試して確認してください。
Q. 仕組みについては？
別記事「生成AIの仕組みを図解で理解する」をご覧ください。
