プロンプトで結果が変わるのはどこか|効く指示と効かない指示

効く指示と効かない指示 指示の書き方

プロンプトのコツは大量に出回っています。ただ、その多くは根拠が示されていません。

ここでは、論文や公式資料で裏の取れている範囲に絞ります。どこを触ると結果が動き、どこを触っても動かないのか。

効く:分からないと答える許可を出す

最も費用対効果が高いのがこれです。

OpenAIの研究者らが公開した論文は、モデルが確信のないときに当てずっぽうで答える理由を、評価の採点方法に求めています。誤りも沈黙も同じ0点なら、推測したほうが得だからです。

この構造がある以上、何も言わなければモデルは何かを答えようとします。「分からない場合は分からないと書いてください」と明示するだけで、埋め合わせの作文が減ります。

1行で済むわりに、効き方が大きい指示です。

効く:指示を末尾にも置く

長い資料を渡すときに効きます。

長い文脈の使われ方を調べた論文によると、必要な情報が入力の冒頭か末尾にあるときの正答率が高く、真ん中に置かれると落ちます。

資料を渡してから最後にもう一度、何をしてほしいかを書く。冒頭の指示だけでは、あいだに挟まった資料の量に埋もれます。

効く:出力の形を決める

同じ質問でも答えが揺れるのは、次の語を確率で選んでいるからです。取り得る答えの幅が広いほど、揺れる余地も広い。

選択肢から選ばせる、決まった項目を埋めさせる、字数を指定する。形を縛れば、それだけ結果が安定します。

「簡潔に」より「200字以内で」。「箇条書きで」より「3項目の箇条書きで」。曖昧な形容詞を具体的な数に置き換えるだけで、出力のばらつきが縮みます。

効く:具体的な表現を示す

文化庁がAI生成物の著作物性を整理した資料に、参考になる区別があります。

創作的な表現といえるものを具体的に示す詳細な指示は、創作的な関与があると評価される可能性を高める。一方、長い指示であっても、創作的な表現に至らないアイデアを示すにとどまるなら、判断に影響しない。

法律の文脈の話ではありますが、出力への効き方としても同じことが言えます。「かっこいい猫の絵」は、何文字書いてもアイデアどまり。「逆光で、毛先が光っていて、視線は画面の外」まで書けば、出力は動きます。

長さではなく、具体性です。

効く:例を1つ見せる

言葉で説明するより、望む出力を1つ見せるほうが早い場面があります。

書式、語調、粒度。この3つは言葉で伝えるのが難しい。「硬すぎず柔らかすぎない文体で」と書くより、そういう文章を1本貼るほうが確実に伝わります。

例を増やしすぎると、今度は入力が長くなって別の問題が出ます。2つか3つで足りることがほとんどです。

悪い例も一緒に見せると、さらに絞れます。「こういうのは避けたい」を1つ添えるだけで、外れ方が減ります。

効かない:丁寧な依頼と役割の付与

「お願いします」と書いても「あなたは一流のコピーライターです」と書いても、出力の質はほとんど変わりません。

役割の指定に意味があるのは、書き方の方向を絞る場合だけです。「法律の専門家として」と書けば用語や慎重さが寄りますが、それは方向の指定であって、能力が上がるわけではない。

「一流の」「プロの」といった修飾は、方向を絞る働きもしていません。省いて構わないと思います。

効かない:脅しと報酬

「間違えたら罰金です」「うまくできたらチップを払います」といった書き方が広まった時期がありました。

効果が報告された時期もありましたが、モデルが更新されるたびに再現しなくなっています。挙動の癖に依存する手法は、その癖が消えれば効かなくなる。

仕組みの説明がつかない手法は、そもそも長持ちしません。

効かない:同じことを繰り返す

「重要です」「必ず守ってください」を何度も書いても、守られる度合いは上がりません。

守らせたいなら、守れているかを確認する側を作るほうが確実です。出力を検査する処理を挟む、あるいは形式を機械で検証する。指示を強く書くことと、結果を保証することは別の問題です。

確かめ方

どのコツが自分の用途で効くかは、試せば分かります。

同じ入力を10件用意し、指示を1か所だけ変えて両方を走らせる。出力を並べて比べる。変わらなければ、その指示は要りません。

複数の工夫を一度に足すと、どれが効いたのか分からなくなります。1つずつ足して、効かなかったものは捨てる。プロンプトが短くなるほど、動作が読めるようになります。

出典

推測の理由についての記述はOpenAIの研究者らによる論文、位置による正答率の変化はスタンフォード大学ほかの研究者による論文、指示の具体性についての区別は文化庁が公開している資料に基づきます。

タイトルとURLをコピーしました