日本語でAIを使っていると、英語の解説記事には出てこない種類のずれに当たります。
言語の構造に由来するものなので、指示を工夫しても完全には消えません。どこで起きるかを知っておくと、避けやすくなります。
料金の面で不利
まず費用の話から。AIの料金はトークンという単位で数えられますが、日本語はここで損をします。
同じ意味の日本語と英語の文を8組用意して、実際にトークン数を数えました。区切り方は o200k_base を使っています。
| 言語 | 1トークンあたりの文字数 |
|---|---|
| 日本語 | 1.49文字 |
| 英語 | 5.38文字 |
同じ内容を伝えるのに必要なトークン数は、中央値で1.46倍でした。日本語は1文字あたりの情報量が多いので差はこの程度に収まりますが、それでも不利は残ります。
区切り方は学習データから作られ、そのデータの大半は英語です。英語で頻出する綴りは効率よくまとまる一方、日本語は漢字1文字が1トークンになったり、1文字が複数に割れたりします。
主語の省略
日本語は主語を書かないことが多い言語です。文脈から分かるものは省く。
この省略が、AIに渡したときに補われます。「明日までに確認します」という文で、確認するのが誰なのか。書いていなければ、それらしい主語が付けられる。
議事録やメールの整理で起きやすく、しかも自然な日本語になって出てくるので気づきにくい。誰の発言か、誰の担当かが変わっていることがあります。
対処は、渡す前に主語を補うこと。あるいは「主語が書かれていない箇所は、そのまま曖昧に残してください」と指示に入れる。
敬語の度合い
「丁寧に」と頼むと、たいてい丁寧すぎるものが返ってきます。
二重敬語が混ざったり、社内メールには重すぎる表現になったり。英語には対応する体系がないので、学習の材料も日本語の文書に限られます。
効くのは、相手を指定することです。「社内の同僚へ」「初めて連絡する取引先へ」「長い付き合いの担当者へ」。関係が分かれば度合いが定まります。
それより確実なのが、過去に自分が書いたメールを1通見せること。言葉で説明するより早く伝わります。
曖昧表現の扱い
日本語には、意図的に曖昧にする表現があります。「前向きに検討します」「難しいところです」「そのあたりは追って」。
これらを整理させると、はっきりした意味に変換されることがある。「前向きに検討」が「実施する方向」になったり、「難しい」が「不可」になったり。
日本語の会話では、曖昧なまま置いておくことに意味がある場面があります。議事録で断定に変わると、後から揉める種になります。
「原文の表現をそのまま残してください」の一文が効きます。
縦書き・旧字・異体字
書類の読み取りでは、表記の問題も出ます。
人名の異体字が別の字に置き換わる。旧字体が新字体になる。縦書きの資料で、行の順序が崩れる。
契約書や登記関係の書類では、字が違うだけで問題になることがあります。人名と社名は、元の画像と突き合わせたほうが安全でしょう。
数字と単位の書き方
日本語特有の単位も、扱いを間違えることがあります。
万、億、兆。英語には対応する区切りがなく、千と百万で区切る体系とずれています。「3億5000万」を英語圏の数え方に直す過程で、桁が動くことがある。
和暦も同じです。令和と西暦の変換は単純な足し算ですが、元年の扱いや、改元をまたぐ日付で間違えることがあります。
金額と日付は元の資料で確かめる。この原則は、日本語で使う場合いっそう重要になります。
それでも効いている部分
苦手な点ばかり挙げましたが、数年前と比べれば日本語の扱いは大きく改善しました。
以前は英語で指示したほうが明らかに質が高い時期がありましたが、いまその差はかなり縮んでいます。日本語のまま自然な文章が返ってくる。
残っているのは、言語の構造そのものに由来する部分です。主語の省略も、敬語の体系も、曖昧表現の文化も、モデルの改良で消えるものではない。
構造から来る問題と、性能から来る問題を分けて考えると、待てばよいものと自分で手当てすべきものが見分けられます。
それでも日本語で使う
不利な点を並べましたが、英語に切り替えるのは勧めません。
費用の大半は出力側で発生します。日本語で答えさせるなら、指示を英語にしても出力の量は変わらない。しかも慣れない言語で指示を練る時間のほうが、節約できる金額より高くつきます。
ニュアンスが伝わらずやり直しになれば、その分の費用がまるごと無駄になる。効くのは、同じ長い指示書を何千回も送るような自動処理の場合だけでしょう。
出典
トークン数は tiktoken の o200k_base で実際に数えたものです。同じ意味の日本語と英語の文を8組用意して測りました。
