新しいモデルが出るたびに、ベンチマークの点数が並びます。何%で1位、といった数字。
この数字は、思っているほど確かなものではありません。何を測るか、どう採点するかで、順位はいくらでも動きます。
実際に順位が入れ替わった例
Artificial Analysisという評価団体が出しているIntelligence Indexで、実際に起きたことです。
あるモデルが公開されたとき、この指標は「先代と同程度」という評価を出しました。ところが他の評価はまったく違った。Epoch AIは50を超えるベンチマークの総合で1位に置き、ARC-AGI-3では大きな伸びが確認されていた。
評価が食い違ったことで、指標そのものに疑いが向きます。そしてArtificial Analysisは指標を作り直しました。
| 変更点 | 中身 |
|---|---|
| 試験を追加 | 実務の知識労働を見るもの、PDFの読解を見るものを2つ追加 |
| 試験を削除 | 「もう解けてしまった」試験を1つ外した |
| 非公開データの比重 | 40%まで引き上げ。対策を打ちにくくするため |
| 採点の修正 | 複数の試験で採点の誤りを直し、判定の方式も調整 |
結果として順位が動きます。作り直す前は先代と同点だったモデルが、作り直したあとは4ポイント上回って2位へ。1位は変わりませんでしたが、並びは変わりました。
モデルは何も変わっていません。ものさしのほうが変わったのです。
なぜ作り直す必要があるのか
2つの理由があります。
ひとつは、解かれてしまうこと。難しかった試験も、モデルが追いつけば差がつかなくなる。全員が満点なら、その試験は情報を持ちません。
もうひとつが、対策されること。試験の内容が公開されていれば、そこに合わせて訓練できてしまう。非公開のデータの比重を上げたのは、この対策への対策です。
採点の方法そのものに偏りがある
もっと根の深い問題も指摘されています。
OpenAIの研究者らによる論文は、多くのベンチマークが正解に加点し、不正解にも「分かりません」にも0点を与えている点を問題にしました。
この採点では、確信がないときに黙るモデルが必ず損をします。当てずっぽうで答えたほうが点が伸びる。順位表がそう作られている以上、開発する側も推測する振る舞いを選ぶことになります。
つまりベンチマークは、能力を測っているだけでなく、どういうモデルを作るべきかという圧力にもなっているということ。
評価する側が誰かを見る
もう一点、確かめておきたいことがあります。その数字を誰が出したのか。
開発元が自社の発表で示すスコアは、当然ながら自社に有利な項目が選ばれています。嘘を書いているという意味ではなく、載せる項目を選べるという意味です。負けている指標を大きく扱う理由はありません。
独立した評価団体でも、指標の設計思想は入ります。何を重視するかを決めるのは人だからです。前述のとおり、その設計は途中で変わることもある。
複数の出どころで同じ傾向が出ているなら、それは信じてよい。ひとつの表だけが違う結果を示しているときは、その表の作り方を疑う。この使い分けが現実的でしょう。
実務でどう読むか
総合点を見るのをやめる、というのが最初の一歩でしょう。
総合点は複数の試験を混ぜた平均です。混ぜ方は指標を作る側が決めています。自分の用途と関係のない項目が半分を占めていることも珍しくありません。
見るなら、自分の仕事に近い個別の項目です。コードを書かせたいならコードの試験。長い文書を扱わせたいなら読解の試験。総合点で1割の差でも、自分の用途では3割違うことがあります。
それから、費用と一緒に見ること。同じスコアなら安いほうが強い。スコアだけを並べた表は、価格を隠しています。
結局は自分で測るしかない
身も蓋もない結論ですが、これが確実です。
自分の実際の入力を20件ほど用意し、候補のモデルすべてに同じものを処理させる。出力を並べて比べる。この作業は数時間で終わり、どんな順位表よりも自分にとって正確です。
その20件は取っておきます。新しいモデルが出るたびに同じものを流せば、自分専用のベンチマークになる。
公開されている順位表は、候補を絞るまでの道具として使う。最後の判断は自分のデータでする。そう割り切ったほうが、振り回されずに済みます。
出典
指標の作り直しと順位の変動については下記の報道、採点方法の偏りについては下記の論文に基づきます。
