AIの答えを検証する手順|どこまで確かめれば十分か

確かめる手順 AI×実務自動化

全部を疑うと時間が足りず、全部を信じると事故が起きます。

何を確かめ、何を流してよいのか。判断の基準を見ていきます。

確かめる量は使い道で決まる

同じ回答でも、扱いを変える必要があります。

自分の理解のために聞いたことと、資料に書いて配るものでは、求められる確かさが違う。間違えたときに誰が困るかで決まります。

使い道 確かめる範囲
自分の理解のため 引っかかった箇所だけ
社内で共有する 数字・固有名詞・日付
社外に出す 上記に加えて出典を原文で確認
契約や金額に関わる 全文。人の目を2人入れる
下に行くほど、戻せない度合いが上がる

外れやすい4つ

確かめる箇所を絞るなら、この4つです。

数字。桁や単位が変わっていても、文として自然に読めてしまいます。日付。年度と暦年の取り違えが起きます。固有名詞。実在しない製品名や、似た別会社の名前が入ることがある。出典。挙げられた資料そのものが存在しない場合があります。

確信がないときに黙るより推測したほうが点になる構造が、学習と評価の仕組みに残っています。断定の形で書かれていても、根拠があるとは限りません。

出典の確かめ方

リンクが付いていると、確かめた気になりやすい。

その場で検索してから答える機能を使っても、示されたページに本当にその記述があるとは限りません。要約の過程で、別のページの内容と混ざることがあります。

開いて、その一文を目で見るまでは確認したことになりません。これは手間ですが、省くと意味がない工程です。

論文なら著者名と番号、法令なら条番号と改正の施行日まで見ます。名前が合っていても中身が違うことがある。

聞き方で楽にする

後から確かめる手間は、指示の出し方で減らせます。

「確かでない部分には印を付けて」と頼む。断定の形が緩み、どこを見ればよいか分かります。

「原文から引用しながら答えて」も効きます。引用があれば、その箇所だけ原典と突き合わせればよい。

「分からないものは分からないと書いて」と先に伝えるのも有効です。埋めようとする傾向を抑えられます。

二度聞く

同じ質問を、別の会話でもう一度聞く手があります。前のやりとりを引きずらせないのが条件です。

答えが揺れるなら、その部分は当てにならない。安定して同じ答えが返るなら、学習の中に根拠がある可能性が高い。

完全な検証ではありませんが、どこを重点的に確かめるかの目安にはなります。手間も小さい。

自分の得意分野で試す

精度の見当をつける方法があります。

自分がよく知っている分野で質問してみる。どこが合っていて、どこが怪しいかを、答え合わせなしで判断できるからです。

そこで見えた外し方は、知らない分野でも同じように起きていると考えたほうがいい。細部が惜しい、言い切りが強すぎる、古い情報が混ざる。癖は分野をまたぎます。

分野による差も分かります。文章が大量にある領域ほど安定し、日本の実務慣行や業界固有の規則は当てになりません。

確認が形だけになる

繰り返すほど、見る目が雑になります。

何度も問題がなければ、次から見なくなる。意志の弱さではなく、注意の性質です。ずっと同じ緊張を保てる人はいません。

対処は、見る箇所を絞ること。全部を見ようとするより、4つだけを毎回見るほうが続きます。

重要な文書だけ、別の人にも見てもらう形にすると、なお確かです。同じ人が二度読むより、違う人が一度読むほうが見つかります。

記録を残す

何をどこまで確かめたかを書いておきます。

数値の出どころ、確認した日、参照した資料。これが書いてあれば、後から誰かが検証できる。

書けない数字は、そもそも載せない。この基準にしておくと、確かめる範囲が自然に決まります。出典を書く前提で調べると、調べ方そのものも変わってきます。

確かめられない答えの扱い

調べても裏が取れないことがあります。

そのときは、使わないのが原則です。「たぶん合っている」で資料に載せると、後から質問されて答えられません。

どうしても必要なら、確かめられていないことを明記して載せる。読む側が扱いを判断できます。黙って混ぜるのがいちばん悪い。

空欄のまま出すのは、格好が悪いだけで事故にはなりません。埋めた数字が間違っているほうが、後の損が大きい。

「ここは確かめられなかった」と言える人のほうが、結果的に信用されます。全部を埋めてくる資料のほうが、実は危うい。

出典

推測が起きやすい構造については下記に基づきます。

タイトルとURLをコピーしました