対話画面で1問ずつ聞く使い方には、量の限界があります。
同じ作業を多数に分担させる形は何が違うのか。どこで効いて、どこで破綻するのかを見ます。
なぜ1本では足りないのか
一度に渡せる分量に上限があるからです。
モデルが受け取れる量は決まっていて、それを超えると入りません。しかも上限いっぱいまで詰め込むと、中ほどの情報が扱われにくくなる傾向が知られています。
2万件の文書から条件に合うものを探す、といった作業は、そもそも1回のやりとりに載りません。分けるしかない。
分けたぶんを順番に処理すると、今度は時間がかかります。1件10秒でも2万件なら55時間。並べて走らせる理由はここにあります。
向いている作業の形
| 条件 | なぜ要るか |
|---|---|
| 1件ずつ独立して処理できる | 前の結果を待たずに走らせるため |
| 入力の形が揃っている | 同じ指示で全件を扱えるため |
| 出力の形を決められる | 結果を機械的にまとめるため |
| 間違いが1件で閉じる | 1つの失敗が全体を壊さないため |
逆にいえば、前の結果を見てから次を決める作業は並べられません。企画を練る、構成を考える。こうした仕事は1本で進めるほうが早い。
組み立て方
3つの層に分けると見通しが立ちます。
分ける層が、対象を件数ぶんに切り出す。走らせる層が、同じ指示で処理する。まとめる層が、返ってきた結果を1つの表にする。
このうち、分ける層とまとめる層は普通のプログラムで書けます。AIに任せるのは真ん中だけ。ここを混ぜると、動いているのか止まっているのか分からなくなります。
出力は最初から構造を指定したい。項目名を決めて、その形でしか返させない。自由な文章で返ってくると、まとめる層で苦労します。
失敗の扱いを先に決める
件数が増えるほど、必ず何件かは失敗します。
通信が切れる、上限に当たる、出力の形が崩れる。1,000件なら数件は起きると見ておきたい。
失敗した件を記録して、後でまとめてやり直す形にしておきます。途中で全体を止めると、そこまでの処理も無駄になる。
同じ件を何度も投げてしまう事故も起きます。処理済みの印を残しておけば防げます。
費用が跳ねる
いちばん注意が要るのがここです。
1件あたりが数円でも、1万件なら数万円になります。走らせてから気づく形になりやすいので、始める前に上限をかけておきたい。
手順としては、10件で試して実費を測り、その数に件数を掛ける。見積もりが想定を超えるなら、件数を絞るかモデルを下げるかを先に決めます。
同じ前置きを毎回送る形なら、その部分を使い回せる仕組みが効きます。件数が多いほど差が出ます。
どこまで任せるか
並列にすると、人の目が届かなくなります。
1件ずつ見ていたときは気づけた違和感が、1万件の処理では埋もれる。だから、取り返しのつく作業に限りたい。
候補を絞る、分類する、要点を抜く。ここまでなら間違えても戻せます。送信する、公開する、支払うといった実行までを自動で走らせるのは別の話です。
人が確認する場所を、どこに1か所置くか。始める前に決めておきたい。
結果の確かめ方
全件を人が読むなら、並列にした意味がありません。
抜き取りで確かめます。無作為に20件ほど選んで、出力が正しいかを目で見る。誤りが混ざっていたら、指示を直して全部やり直すほうが速い。
絞り込みの作業なら、最後に残った件だけを人が精査する形にできます。候補を減らすところまでを任せ、判断は自分でやる。
小さく始める
いきなり本番の件数で回さないこと。
10件、100件、1,000件と段階を踏むと、途中で問題が見えます。費用も、失敗の起き方も、この過程で分かる。
100件で使えないものは、1万件にしても使えません。規模を上げて解決する問題ではないからです。
実例で見る規模
この形が実際にどれくらいの規模で回るのか、公開された例があります。
Anthropicが9月に発表した酵素の探索では、およそ950のエージェントを21時間走らせ、2億1,000万トークンを使ったと書かれています。20万件の候補を3,500件に、さらに20件まで絞り込んだ工程です。
詳しくはClaudeが新種の酵素を見つけたにまとめました。数字が出ている例は少ないので、見積もりの参考になります。
出典
入力量と精度の関係については下記に基づきます。
