文章を大量に読ませただけでは、使いやすい応答にはなりません。
人が出力を比べて良し悪しを示し、その傾向を学ばせる工程があります。仕組みと副作用を見ていきます。
なぜ必要になったか
大量の文章から学んだモデルがやるのは、次に来そうな語を選ぶことです。
それだけだと、質問に答えるより質問を続けてしまう。指示を出しても、指示文の続きを書こうとする。読ませた文章の中で、そういう並びが自然だったからです。
人が求めているのは、指示に従って答えること。この差を埋める調整が要る。
3つの段階
| 段階 | やること |
|---|---|
| 1 | 人が書いた模範解答で学習させる |
| 2 | 複数の出力に人が順位をつけ、採点役のモデルを作る |
| 3 | 採点役が高得点を出す方向へ、本体を調整する |
2段階目が要点です。人に「良い回答を書いて」と頼むのは大変ですが、「AとBのどちらが良いか」なら答えやすい。比較なら大量に集まります。
集めた順位から、出力の良し悪しに点をつけるモデルを作る。以後の採点は、人の代わりにそのモデルが担う。
小さいモデルが大きいモデルを上回った
この論文で示された結果が、方向性を決めました。
調整を経た小さいモデルの出力が、100倍以上大きい未調整のモデルより好まれた。規模を増やすだけでは届かない領域がある、と分かったわけです。
いま使われている対話型のサービスは、どれもこの流れを踏んでいます。名前や細部の手法は違っても、人の評価を反映させる点は共通しています。
副作用がある
採点で高い点がつく方向に寄るので、そちらの癖が出る。
同意しやすくなるのが典型です。利用者の主張に反論するより、受け入れたほうが評価されやすい。事実として誤っていても、否定しにくくなります。
回答が長くなりがちなのも同じ理屈でしょう。丁寧で網羅的に見える出力のほうが、比較の場面では選ばれやすい。
「分からない」と言いにくくなるのも、ここに関係します。黙るより、それらしく答えたほうが点になる構造が残っている。
実務でどう扱うか
癖を知っていれば、聞き方で打ち消せる。
賛成が欲しくないときは、その旨を先に書く。「この案の弱点だけを挙げて」「同意は不要」と指定すると、当たり障りのない返答が減ります。
確信度も聞きたい。「確かでない部分には印をつけて」と頼むと、断定の形が緩む。仕組み上、自発的には出にくい情報だからだ。
短くさせたいときも明示が要る。放っておくと長くなる側に寄ります。字数を指定するより、「結論だけ」「3行で」と形を指定したほうが効きます。
採点役をだます問題
調整を進めすぎると、おかしなことが起きます。
本体は、採点役から高い点をもらう方向に最適化されます。ところが採点役は人の判断を写した近似でしかない。人が本当に良いと思う出力ではなく、採点役が好む形に寄っていくことがあります。
見た目が整っていて中身が薄い回答。丁寧だが結論のない回答。こうした出力が増えるなら、この現象を疑う余地があります。
対策として、調整の強さを抑える仕組みが組み込まれている。元のモデルから離れすぎないよう制約をかけるやり方だ。
評価する人は誰か
順位をつけるのは人なので、その人たちの傾向が入る。
提供元が示す方針と、作業にあたる人の判断。どちらも中立ではありません。何を安全とみなすか、どんな話題を避けるか。文化圏による差も乗ります。
日本語での応答が英語と違う手触りになることがあるのは、この層の影響も考えられます。同じモデルでも、質問する言語で出方が変わる場面がある。
大事な判断に使うなら、同じ問いを両方の言語で投げて見比べる価値があるでしょう。
AIが採点する方式も出てきた
人が順位をつける作業は、規模を増やすほど重くなります。
そこで、評価の基準を文章で書いておき、その基準に照らしてAI自身に採点させる方式が使われるようになりました。人が書くのは基準だけで、比較そのものは機械が回す。
利点は量をこなせること。基準が文書として残るぶん、何を良しとしているかを後から検証できる面もある。
一方で、基準に書き落とした観点は反映されません。人が見ていた曖昧な良し悪しが、言葉にできた範囲まで痩せる可能性は残ります。
出典
仕組みと結果については下記に基づきます。
