AIが自信たっぷりに事実でないことを述べる。この現象はハルシネーションと呼ばれています。
たいてい「技術がまだ未熟だから」と説明されます。ただ、OpenAIの研究者らが公開した論文は、別の角度から原因を示していました。モデルの採点のしかたそのものが、嘘を書くほうに報酬を与えているという主張です。
論文が言っていること
Adam Tauman Kalai氏らによる Why Language Models Hallucinate。2025年9月に公開されました。
主張はこうです。ハルシネーションが残り続けているのは、ほとんどの評価の採点方法のせいである。言語モデルは「試験でよい点を取る存在」として最適化されており、確信がないときに当てずっぽうで答えるほうが試験の成績が上がる。
ベンチマークの多くは、正解なら加点、不正解なら加点なし、という採点をします。ここで「分かりません」と答えると、どうなるか。
確実に0点です。当てずっぽうなら、当たれば点が入る。
つまり、不確かなときに黙るモデルは、推測するモデルに必ず負けます。学習の過程でこの差が積み重なれば、推測する振る舞いが選ばれていく。
なぜ直らないのか
論文が重く見ているのは、この構造が個々のモデルの問題ではない点です。
開発元はベンチマークの順位を競っています。順位表は正解率で並びます。誤りと沈黙が同じ扱いなら、沈黙を選ぶ理由がどこにもない。
論文が挙げている対処も、技術ではなく制度の側でした。ハルシネーション専用の評価を新しく足すのではなく、いま順位表を支配している既存のベンチマークの採点方法を直す。誤りには減点を、分からないという回答には部分点を与えるような形に変えていく。
技術の改良ではなく採点表の書き換えを提案しているのが、この論文の特徴です。
使う側にできること
採点方法が変わるのを待つわけにもいかないので、手元でできる対処を挙げます。
効くのは、分からないと答える許可を明示的に出すことです。「資料に書かれていない場合は、分からないと答えてください」と指示に入れる。これだけで、埋め合わせの作文がかなり減ります。何も言わないと、モデルは何か答えるべきだと判断します。
もうひとつが、答えの根拠を一緒に出させること。「どの部分を見てそう判断したか」を書かせると、根拠のない主張はその場で見分けられます。
それから、危ない質問の型を知っておくこと。
| 危ない質問 | なぜ危ないか |
|---|---|
| 存在するか怪しいものを前提にした質問 | 「その機能はありません」より、それらしい説明を作るほうが自然に見える |
| 数字や日付を1つだけ聞く | 近い値を出せば当たるかもしれない、という賭けが働く |
| 出典や論文名を挙げさせる | もっともらしい書誌情報を組み立てるのは、モデルにとって簡単 |
| ニッチな固有名詞 | 学習データに少ないほど、推測で埋める割合が上がる |
3つめは実害が出やすい型です。論文名と著者名と年が並んだ、体裁の整った出典が返ってくる。しかし存在しない。書誌情報は形式が決まっているので、それらしく作るのが容易なのです。
出典を挙げさせたら、必ずリンクを開いて確かめる。これは習慣にしておいたほうがいい。
確認の手間で仕事を分ける
業務に組み込むかどうかは、精度の高さではなく確認の手間で決めたほうが実用的です。
出てきた答えが正しいかを、人がすぐ判断できる仕事。ここは安全です。文章の下書き、要約、コードの叩き台、翻訳。間違っていれば読めば分かるので、間違いがそのまま流れていきません。
危ないのは、確認するほうが自分でやるより手間のかかる仕事です。数十件の数値を突き合わせる、法令の条番号を拾う、統計の出典を集める。全部を検算するくらいなら最初から自分でやったほうが早い、という状態になります。
この線引きで見ると、モデルの性能が上がっても構図は変わりません。精度が99%になっても、残る1%を見つける手間は同じだからです。むしろ精度が上がるほど、人の確認が甘くなって見逃しが増えるという面もあります。
論文が指摘しているのは、モデルの側が「確信がないときに黙る」ようになっていない構造でした。その構造がある以上、確認する側の設計で受けるしかありません。
検索させれば減るのか
資料を渡したり検索させたりすれば、推測で埋める余地は減ります。手元に答えがあるからです。
ただ、それでも消えるわけではありません。渡した資料に答えが書かれていなかったとき、素直に「書かれていません」と言うか、周辺の記述からそれらしく組み立てるか。ここでまた同じ構造が顔を出します。
資料を渡す仕組みを作るときも、分からないと答えてよいという指示は必ず入れておきます。
出典
論文の主張と提案の記述は、下記に基づきます。
