検索機能が付いたことで、AIは調べものにも使えるようになりました。ただし信じてよい範囲には線があります。
どの種類の問いに強く、どこで崩れるのか。使い分けの目安を整理します。
強い問い、弱い問い
| 問いの型 | 強さ | 理由 |
|---|---|---|
| 概念の説明 | 強い | 大量に書かれていて、答えが安定している |
| 複数の情報を比べる | やや強い | 集めて並べる作業が得意 |
| 最新の出来事 | 検索次第 | 検索が当たれば正確、外れると推測になる |
| 特定の数値 | 弱い | 近い値を出せば当たるかもしれない、という賭けが働く |
| 出典や論文名 | 最も弱い | 書誌情報は形式が決まっていて、それらしく作れる |
| ニッチな固有名詞 | 弱い | 学習データに少ないほど推測の割合が上がる |
下に行くほど、確信がないときに黙るより推測したほうが得になる構造が効いてきます。OpenAIの研究者らの論文は、その理由を評価の採点方法に求めました。誤りも「分かりません」も同じ0点なら、当てずっぽうが有利になる。
検索させても消えない
検索機能を使えば安心、とはなりません。
検索が当たっている場合は正確です。問題は、検索しても答えが見つからなかったときの振る舞い。そこで「見つかりませんでした」と言うか、周辺の記述からそれらしく組み立てるか。ここで同じ構造が顔を出します。
拾ってきたページが古い、あるいは間違っている場合もあります。AIは書かれていることを整理はしますが、その情報が正しいかまでは判断しません。
出典は必ず開く
実務でいちばん効く習慣がこれでしょう。
出典が示されたら、リンクを開いて中身を確かめる。開いてみると、そのページにそんなことは書かれていない、ということが実際にあります。
論文名や書名は特に危ない。著者名と年と題名が並んだ、体裁の整った出典が返ってくる。ところが存在しない。書誌情報は形式が決まっているぶん、それらしく作るのが容易だからです。
検索して出てこなければ、その出典は疑ってよい。
数字は元に当たる
金額、件数、割合、日付。この4つは元の資料で確かめます。
正確に近い値が返ってくることが多いので、かえって危ない。桁がひとつ違う、年度が1年ずれている、といった誤りは読んでいるだけでは気づきません。
公的な統計や企業の発表なら、一次資料が公開されています。AIには「どこに書かれているか」を探させて、数字そのものは自分で読む。この分担が安全です。
指示でできる予防
完全には防げませんが、減らす書き方はあります。
「分からない場合は分からないと書いてください」。これが最も費用対効果が高い一文です。何も言わないと、モデルは何か答えるべきだと判断します。
「確認できた情報と、推測を分けて書いてください」。区別を明示させると、どこを疑えばよいかが見えます。
「出典のURLを付けてください」。開いて確かめられる形にする。
確かめる順番
全部を検証するのは現実的ではないので、優先順位を付けます。
まず、その情報が間違っていたら困る度合いで並べる。取引先に出す資料の数字と、社内の雑談用の豆知識では重みが違います。
次に、間違いやすさで並べる。概念の説明は放っておいてよく、固有名詞と数値と出典は確かめる。上の表がそのまま優先順位になります。
この2つが重なるところ、つまり「重要でかつ間違いやすい」項目だけを確認する。それなら数分で終わります。
複数に聞く方法
簡単な検算として、別のサービスに同じ問いを投げる手があります。
答えが割れたら、どちらかが間違っている。一致したからといって正しい保証にはなりませんが、割れた場合に気づけるのは価値があります。
同じサービスに二度聞くのも、ある程度は効きます。答えが揺れる性質があるので、確信のない領域では違う答えが返ってくることがある。安定して同じ答えが返るなら、根拠がある可能性は高い。
どちらも決定打ではありません。最終的には一次資料です。
向いている使い方
弱点を並べましたが、調べものに使えないという話ではありません。
向いているのは、当たりを付ける作業です。この分野に何があるのか、どういう論点があるのか、どこを調べればよいのか。全体像を掴むまでの時間が大きく縮みます。
向いていないのは、最終的な事実確認。そこは自分で一次資料に当たる工程として残しておく。
道案内は任せて、目的地の確認は自分でやる。そういう使い分けが実務的でしょう。
出典
推測が起きやすい理由については、下記の論文に基づきます。
