3ページの記事はきれいに要約してくれるのに、100ページの資料になると要点が抜ける。使っていると、この落差に気づきます。
原因は文字数そのものではありません。必要な情報が入力のどこに置かれているかです。
真ん中が弱いことは測られている
Nelson F. Liu氏らの論文が、この性質を実験で確かめています。
複数の文書から答えを探させたところ、必要な情報が入力の冒頭か末尾にあるときの正答率が高く、真ん中に置かれると落ちた。長い文脈を扱うと明示されているモデルでも同じ傾向が出たとしています。
要約でも同じことが起きます。冒頭の主張と結論部分はしっかり拾うのに、中盤で述べられた条件や例外が抜け落ちる。
読んだ気になって仕事に使うと、いちばん大事な但し書きを見落とすことになります。
分けて渡す
対処の基本は、一度に渡す量を減らすことです。
章ごとに分けて要約させ、その要約をまとめてもう一度要約させる。二段構えにすると、どの部分も「短い入力」として扱われるので、真ん中が弱くなる問題を避けられます。
手間は増えますが、100ページを一度に投げるより結果は安定する。分ける単位は、見出しの区切りに合わせるのが自然でしょう。
何を拾ってほしいかを先に言う
「要約して」だけだと、何が重要かの判断はモデルに委ねられます。
目的を書くと結果が変わる。「契約の解除条件を知りたい」「費用に関する記述を集めたい」。探すものが決まっていれば、真ん中にあっても拾われる確率が上がる。
要約というより抽出に近い頼み方です。実務ではこちらのほうが役に立つ場面が多いと思います。
指示は末尾にも置く
長い資料を渡すときの基本形です。
冒頭に指示を書き、資料を貼り、末尾でもう一度何をしてほしいかを書く。冒頭だけだと、あいだに挟まった資料の量に埋もれます。
末尾は正答率が高い位置なので、そこに指示を置くのは理にかなっている。1行足すだけで効きます。
出典を書かせる
要約に「どのページのどこから取ったか」を付けさせると、確認できるようになります。
元の資料にない内容が混ざっていたら、その時点で分かる。埋め合わせの作文が起きる構造がある以上、確かめる手がかりを一緒に出させたほうが安全です。
あわせて「資料に書かれていないことは書かないでください」と添える。これも1行で効きます。
要約の型を指定する
出力の形を決めておくと、抜け落ちが減ります。
「主張・根拠・条件・結論の順に、それぞれ2文以内で」と指定する。項目が決まっていれば、埋めるために本文を探しに行きます。何も指定しないと、目立つ部分だけを拾って終わることがある。
箇条書きの数を決めるのも効きます。「5点にまとめて」と書けば5つ探す。「簡潔に」では何も決まりません。
ただし型を細かくしすぎると、資料に無い項目を埋めるために作文が始まります。「該当する記述がなければ、なしと書いてください」を添えておくと防げます。
長さと費用の関係
分けて渡す方式は、費用の面でも意味を持ちます。
章ごとに処理すれば、1回あたりの入力が短くなる。ただし回数は増えるので、合計のトークン数はそれほど変わりません。二段階目のまとめ直しがある分、やや増えます。
明確に減るのは、やり直しの回数のほうです。一度に全部渡して要点が抜け、指示を変えてもう一度、を繰り返すほうが結局は高くつく。
最初から分けたほうが、時間も費用も読めます。
要約が向かない資料
そもそも要約に向かない資料というものが存在します。
契約書や規程のように、条件と例外が細かく積み上がっている文書。要約すると但し書きが落ち、残った文だけを読むと逆の意味に見えることさえあります。
数値が並んだ資料も苦手です。表を単純にテキストに直すと行と列の対応が壊れ、数字の帰属が入れ替わることがある。
こういう資料では、要約させるより「該当箇所を抜き出させる」ほうが安全でしょう。判断のほうは自分で引き受ける。
確かめ方
その資料でうまくいくかは、簡単に試せます。
資料の真ん中あたりにしか書かれていない事実を1つ選び、それを聞いてみる。答えられなければ、その長さは扱えていません。分けて渡す方式に切り替えます。
この確認を1回やるだけで、その後の要約をどこまで信じてよいかの目安がつきます。
なお、この確認は資料の種類ごとに一度やれば足ります。同じ形式の書類を繰り返し扱うなら、最初の1回で見当がつきます。
出典
位置による正答率の変化についての記述は、下記の論文に基づきます。指示を冒頭と末尾に置く工夫は、Anthropicの公式ドキュメントが示す考え方とも一致します。
