同じ問題を出しても、聞き方で正答率が変わります。
答えだけを求めると間違える。「順番に考えてから答えて」と足すと正解する。この現象を報告したのが、2022年1月に公開された論文でした。
論文が言っていること
Jason Wei氏ほかによる Chain-of-Thought Prompting Elicits Reasoning in Large Language Models。日本語では「思考の連鎖」と訳されます。
やっていることは単純です。答えに至るまでの中間の推論の手順を、いくつか例として見せる。すると、モデルも同じように途中を書きながら答えるようになる。
論文が示した結果が印象的でした。5400億パラメータのモデルに、わずか8つの例を見せただけで、算数の文章題の試験で当時の最高精度を達成した。検証器つきで追加学習したGPT-3をも上回っています。
なぜ効くのか
言語モデルは、次の語を確率で選びながら文を作っていきます。答えだけを書かせると、問題文からいきなり結論の数字を出すことになる。
途中を書かせると、そこが変わります。書いた途中の式や考えが、次の語を選ぶときの手がかりとして残る。自分で書いたものを自分で読みながら進む形です。
人間が暗算より筆算のほうが間違えにくいのと、構造としては似ています。
規模が小さいと効かない
見落とせない発見がありました。この能力は、十分に大きなモデルでのみ自然に現れる、とされています。
小さいモデルに同じことをさせても、効果が出ない。それどころか、途中の推論そのものが破綻して、かえって精度が落ちることもある。
つまり「順番に考えて」と書けば必ず良くなる、という話ではありません。使っているモデルによります。
いまは自分で書かなくてよくなった
この論文が出た当時は、利用者が例を用意して見せる必要がありました。
現在の推論向けのモデルは、この手順を内側に持っています。答える前に自分で考える工程が組み込まれていて、そこで使ったぶんもトークンとして課金される仕組みです。
だから「順番に考えて」と書き足す必要は、以前ほどありません。すでにやっているからです。
それでも効く場面
推論の工程を持たない軽いモデルを使うときには、まだ効きます。速さと安さを優先して小さいモデルを選んでいる場合です。
もうひとつが、途中を見せてほしいとき。「どう判断したかも書いて」と頼めば、根拠のない主張をその場で見分けられます。答えだけ返ってくると、確かめようがない。
逆に、分類や抽出のように答えが決まっている作業では、途中を書かせると無駄にトークンを使います。ここは短く答えさせたほうがよい。
推論にかかる費用
内側で考える工程を持つモデルは、その考えたぶんも課金の対象になります。
画面には答えしか出ていなくても、裏で数千トークンぶん考えていることがある。難しい問題ほど長く考えるので、費用は問題の難しさに比例して増えていきます。
同じ質問でも、考える強度を設定できるサービスが増えました。強くすれば精度は上がり、そのぶん時間と費用がかかる。分類のような単純な作業に最大の強度を使うと、無駄に高くつきます。
作業の種類ごとに強度を変える。これが実務での使い分けになります。
簡単に試せること
自分の使い方で効くかどうかは、比べれば分かります。
同じ入力を10件用意し、片方には「順番に考えてから答えて」を足し、もう片方には足さない。出力を並べる。差が出なければ、その指示は要りません。
推論向けのモデルを使っているなら、たいてい差は出ないはずです。軽いモデルで手戻りが多いと感じている場合は、試す価値があります。
途中の説明は本当の理由とは限らない
最後に注意点をひとつ。
モデルが書いた推論の過程は、その答えを出した実際の計算とは別のものです。もっともらしい説明を後から組み立てているだけ、という場合がある。
途中の説明が筋が通っているからといって、答えが正しい保証にはなりません。確かめるのは答えの側です。説明は、疑うべき箇所を見つけるための手がかりとして使うのがよいでしょう。
実務で使うなら、途中の説明のうち「どの資料のどこを見たか」の部分だけを信じる。そこは事実として確かめられます。「だからこう判断した」という筋道のほうは、参考程度に読むのが安全でしょう。
出典を挙げさせたら開いて確かめる。この習慣が結局いちばん効きます。
出典
手法の説明と数値は、下記の原論文に基づきます。発見の位置づけは、Google Research公式ブログの解説もあわせて参照しました。
