どのAIが一番か。この問いに答えを出そうとすると、たいてい徒労に終わります。
得意分野が違ううえ、順位も入れ替わるからです。
順位は測り方で変わる
評価団体が指標の作り方を変えると、モデルは何も変わっていないのに順位が動きます。試験を追加する、解かれてしまった試験を外す、採点の誤りを直す。それだけで並びが変わる。
総合点は複数の試験を混ぜた平均で、混ぜ方は指標を作る側が決めています。自分の用途と関係のない項目が半分を占めていることも珍しくありません。
「一番」を追いかけるより、自分の作業で比べるほうが確実です。
使い分けの軸
| 作業 | 見るところ |
|---|---|
| 長い資料の読解 | 一度に渡せる量と、中盤の扱い |
| コードを書く・直す | 複数ファイルにまたがる変更への強さ |
| 画像を読み取る | 表や図の解釈、細かい数字の精度 |
| 大量の定型処理 | 速さと単価。小さいモデルで足りることが多い |
| 文章の書き分け | 指定した文体への追随 |
同じ提供元の中でも、大きいモデルと小さいモデルを使い分ける余地があります。分類や抽出のように答えが決まっている処理は、軽いもので足りることがほとんどです。
止まったときのために
業務の中心に据えるなら、代わりを持っておく意味があります。
障害で使えない日は実際にあります。1社に依存していると、その日は作業が止まる。同じ処理を別のサービスでも動かせる状態にしておけば、切り替えられます。
完全に同じ結果にはなりません。それでも、止まるよりはよい。
提供の終了や規約の変更も起こり得ます。乗り換えにくい形で作り込むほど、この種の変更が痛くなる。
比べ方
自分の環境でどうかは、順位表を眺めても分かりません。
実際の入力を20件ほど用意し、候補すべてに同じものを処理させる。出力を並べて比べる。数時間で終わり、どんな順位表より自分にとって正確です。
その20件は保存しておきます。新しいモデルが出るたびに同じものを流せば、条件を揃えた比較になる。自分専用の評価基準ができあがります。
結果は3つに分けて数えると分かりやすい。そのまま使えたもの、手直しで済んだもの、使えなかったもの。
切り替える判断
乗り換えを考えるのは、いま使っているもので明確に困っている場合だけでよいでしょう。
「新しいモデルが出た」は理由になりません。順位表の数字が動いても、自分の作業で差が出るとは限らない。
理由になるのは、具体的な不足です。長い資料が入らない。特定の処理で毎回失敗する。費用が想定を超えている。この形で言えるなら、比較する価値があります。
言えないなら、いまのものを使い込むほうが成果につながります。
増やしすぎない
一方で、契約が増えれば固定費も増えます。
新しいサービスが出るたびに試していると、どれも定着しません。使い方を覚える時間、指示を作り直す手間、契約の管理。切り替えるたびに積み上げたものが一度ゼロに戻ります。
主に使うものを1つ決めて、代わりを1つ持つ。この2本立てで足りることがほとんどでしょう。
気になるものは記録だけしておいて、半年に一度まとめて見直す。そのくらいの頻度で構いません。
指示の持ち運び
使い分けるなら、指示を移せる形にしておくと楽になります。
サービス内の保存機能は便利ですが、乗り換えると持ち出せないことがある。手元のテキストファイルにも控えを置いておくと、切り替えの手間が減ります。
ただし、そのまま貼っても同じ結果にはなりません。提供元が入れている初期の指示が違うので、前提が変わります。移した後で20件を流し直すのが確実です。
社内で使うときの整理
複数を使うなら、どれをどの用途で使うかを決めておきます。
決めずに各自の判断に任せると、同じ作業でも人によって結果が変わります。品質が揃わないうえ、うまくいった使い方も共有されません。
用途と道具の対応を1枚にしておく。入れてよい情報の線引きも、サービスごとに違うので併記しておくと親切です。
道具が増えるほど、この整理が要ります。
一番を探すより、自分の作業に合う組み合わせを見つけるほうが、結果として速く進みます。
順位表は候補を絞るまでの道具として使う。最後の判断は、自分のデータでする。それで足ります。
道具は増やすより、深く使い込むほうが差になります。
出典
指標の作り直しと順位の変動については、下記の報道に基づきます。
