簡単な足し算を間違える。一方で、複雑な条件の処理は正確にこなす。この落差に戸惑った人は多いはずです。
理由を知ると、任せてよい範囲が見えてきます。
計算していない
言語モデルは、次に来る語を確率で選びながら文を作ります。数式を見ても、計算しているわけではありません。
「2+2は」と書かれたら、その後ろに来る確率が高い語として「4」が選ばれる。学習データにその並びが大量にあったからです。
よく出てくる計算は正しく答えられます。ところが桁数が増えると、そういう並びを見た回数が減る。7桁同士の掛け算になると、正解の並びを覚えている可能性は低くなります。
それでも何か答えます。確信がないときに黙るより推測したほうが有利になる構造があるからです。
道具を使えば話が変わる
最近のサービスは、計算を外部の道具に投げる機能を持っています。
コードを書いて実行させる、表計算の機能を呼ぶ、電卓に相当する処理を使う。この場合は本当に計算しているので、結果は正確です。
問題は、道具を使ったかどうかが分かりにくいこと。画面に答えだけが出ていると、頭の中で出した数字なのか計算した結果なのか区別がつきません。
「計算はコードを書いて実行してください」と明示すると、確実になります。
任せてよい範囲
| 作業 | 任せてよいか |
|---|---|
| 計算式を組み立てる | 得意。どう計算すべきかの整理は向いている |
| 単位や税率の考え方を説明する | 得意 |
| 桁の少ない計算 | だいたい合うが、確認は要る |
| 桁の多い計算 | 道具を使わせる。使わないなら信じない |
| 大量のデータの集計 | 道具を使わせる。自分で確かめる |
| 資料から数字を拾う | 拾う位置を示させて、値は自分で読む |
この分け方が実務では効きます。式の組み立てと、実行を分ける。
危ないのは「近い値」
まったく違う数字が出れば気づきます。厄介なのは、それらしい値が返ってくる場合です。
桁がひとつ違う。小数点の位置がずれている。合計が数パーセントだけ合わない。読んでいるだけでは気づきません。
特に、資料から数字を拾わせたときに起きます。表を読み取る過程で行と列の対応が崩れ、隣の数字を拾っていることがある。
金額、件数、割合、日付。この4つは元の資料で確かめる。この習慣だけで、大きな事故はほぼ防げます。
確かめ方
全部を検算するのは現実的ではないので、当たりを付けます。
桁を見る。答えの大きさが感覚と合っているか。1万円のはずが100万円になっていないか。これだけで多くの誤りが見つかります。
合計と内訳が合っているか。項目を足して合計になるかを見る。
別の方法で概算してみる。細かい計算はしなくても、おおよその値が近ければ大きな間違いはありません。
途中を書かせると精度が上がる
道具が使えない場面でも、精度を上げる方法があります。
答えだけを求めず、計算の過程を書かせる。2022年の論文が、この効果を報告しています。中間の推論の手順を例として見せると、モデルも途中を書きながら答えるようになり、算数の文章題で成績が大きく伸びました。
人が暗算より筆算のほうが間違えにくいのと、構造としては似ています。書いた途中の式が、次の語を選ぶときの手がかりとして残るからです。
推論の工程を内側に持つ最近のモデルでは、これを明示しなくても行われています。それでも「計算の過程も書いて」と頼めば、こちらが確かめられる形で出てきます。
確かめられる形で出させる
数字を扱わせるときは、答えの形を指定しておくと後が楽になります。
「使った数値と、その出どころを併記してください」。どの資料のどこから取ったかが書かれていれば、確認は数秒で済みます。
「資料に該当する数値がなければ、なしと書いてください」。空欄を埋めるための作文を防げます。
この2行を添えるだけで、確認の手間がかなり減ります。
見積もりや請求では使い方を変える
外に出す数字は、扱いを変えるべきでしょう。
計算そのものは表計算で行い、AIには式の設計や、抜けている項目の指摘を任せる。「この見積もりで考慮が漏れている費目はあるか」という聞き方なら、得意な領域です。
数字を出させるのではなく、数字の扱い方を相談する。この分担なら安全に使えます。
出典
推測が起きやすい理由については、下記の論文に基づきます。
