生成AIは何をしている装置なのか。「次の語を確率で選んでいるだけ」という説明はよく聞きます。間違いではありませんが、それだけでは使い方の判断がつきません。
いまの形を作った論文を3本たどると、できることとできないことの輪郭が見えてきます。
①2017年：順番に読むのをやめた
出発点が Attention Is All You Need です。
それまでは文章を前から1語ずつ処理していました。この論文は、文の全部の語を同時に見て、どの語とどの語が関係が深いかに重みを付ける方式に切り替えます。
順番の縛りが外れたので、並列に計算できるようになった。計算機を増やせば増やしただけ速くなる。ここから規模の競争が始まります。
②2022年：大きくするだけでは足りなかった
次が Training Compute-Optimal Large Language Models。
400を超えるモデルを実際に訓練して確かめた結果、モデルの大きさと訓練データは等しく拡大されるべきだと分かりました。当時のモデルは、大きさに対してデータが足りていなかった。
証拠として作られたChinchillaは、4分の1の大きさでより大きいモデルを上回っています。パラメータ数を競うことに意味がないと示した形でした。
③2025年：嘘の理由は採点方法にあった
3本目が Why Language Models Hallucinate。
もっともらしい嘘が消えない理由を、技術の未熟さではなく評価の採点方法に求めた論文です。誤りも「分かりません」も同じ0点なら、当てずっぽうで答えたほうが点が伸びる。
この構造がある以上、確信のないときに黙るモデルは順位表で必ず負けます。だから推測する振る舞いが選ばれていく。
3本を並べると見えること
この技術の性質が、素直に読み取れます。
| できること | なぜ |
|---|---|
| 離れた語の関係を捉える | 全部の語を同時に見ているから |
| 大量の知識を扱う | 膨大なデータを読ませられるから |
| 自然な文章を書く | 次の語を確率で選ぶ方式が文章らしさを生むから |
| できないこと | なぜ |
|---|---|
| 知らないことを黙る | 推測が得になる採点で育っているから |
| 新しい出来事を知る | 学習の時点で中身が固まるから |
| 同じ答えを毎回返す | 確率で選んでいるから |
| 長い入力を隅々まで使う | 語数が増えると計算量が急に増えるから |
この3本を選んだ理由
重要な論文は他にもたくさんあります。それでもこの3本を並べたのは、それぞれが違う種類の問いに答えているからです。
1本目は「どう作るか」。構造の話です。2本目は「どれだけ注ぎ込むか」。資源配分の話。3本目は「なぜこう振る舞うか」。評価の設計が挙動を決めているという話でした。
技術・資源・評価。この3つが揃うと、ニュースを読むときの位置づけがしやすくなります。新しい発表が出たとき、どの層の話なのかを仕分けられる。
構造の改良なのか、規模の拡大なのか、測り方の変更なのか。同じ「性能が上がった」という表現でも、中身はまったく違います。
次に何が変わりそうか
3本目の論文が示した方向は、まだ動いている最中です。
採点方法を直せば、確信のないときに黙るモデルが評価されるようになる。そうなれば開発の力の入れどころも変わります。論文が提案したのは技術の改良ではなく、順位表の作り替えでした。
2本目の方向にも限界が見えています。データを増やし続ける方式は、読ませるものが尽きれば止まる。答える前に考える工程を長くする手法が注目されているのは、その先を探しているからでしょう。
構造そのものは2017年から大きく変わっていません。次の転機がどこから来るかは、まだ分かっていません。
直そうとしない
使い方の指針としては、これに尽きるかもしれません。
できないことの列は、指示を工夫すれば直るものではありません。設計の帰結だからです。「毎回同じ答えを返して」と書いても揺れは残るし、「嘘をつかないで」と書いても構造は変わらない。
できるのは、受け止め方を変えることです。揺れるなら出力の形を縛る。知らないなら資料を渡す。嘘が混ざるなら確認の工程を挟む。
性質に合わせて周りを作る。そう考えると、使いどころの判断がしやすくなります。
画像や音声も同じ枠組み
文章以外も、考え方は共通しています。
画像生成はノイズを引いていく方式ですが、確率的に選びながら形にしていく点は同じ。だから同じ指示でも毎回違う絵が出ます。
音声も動画も、扱う対象が違うだけで枠組みは変わりません。ひとつの性質を理解すれば、他にも当てはめられます。
出典
記述はすべて下記の論文に基づきます。
