GPTのTはTransformerのTです。Claudeも、Geminiも、画像や音声を扱うモデルの多くも、同じ構造の上に建っています。
その出発点になったのが、2017年6月に公開された1本の論文でした。
Attention Is All You Need
Ashish Vaswani氏ほかによる論文です。題名を訳すと「必要なのは注意機構だけ」。挑発的な題ですが、中身もそのとおりでした。
当時の主流は、再帰型や畳み込み型のニューラルネットワークを符号化と復号の形に組んだものでした。この論文は、そこから再帰も畳み込みも取り除きます。残したのは注意機構だけ。
論文の主張はこうです。品質で上回りながら、並列化しやすく、訓練にかかる時間が大幅に少ない。
何が問題だったのか
それまでの再帰型は、文章を前から順に1語ずつ処理していました。5番目の語を扱うには、4番目までの計算が終わっている必要がある。
この順番の縛りが、2つの問題を生んでいました。
ひとつは速度。順番を待つ以上、並列に計算できません。GPUをいくら並べても、1文の中では順番に処理するしかない。
もうひとつが、離れた語の関係を捉えにくいこと。文の冒頭の主語と、文末の述語。あいだに何十語もあると、情報が薄れていきます。
注意機構がやっていること
Transformerは、文の全部の語を同時に見ます。そして、それぞれの語がどの語と関係が深いかに重みを付ける。
「彼女はカバンを開けて、そこから鍵を取り出した」という文で、「そこ」が指しているのは「カバン」。この対応に高い重みが付きます。距離は関係ありません。何十語離れていても、同じように結びつけられる。
順番に処理しないので、全部を並列に計算できます。ここが速度の話につながりました。
論文が示した数字
| 項目 | 結果 |
|---|---|
| 英独翻訳（WMT 2014） | BLEUで28.4。それまでの最高を2ポイント以上更新 |
| 英仏翻訳の訓練 | GPU8台で3.5日。当時の最良モデルの訓練費用のごく一部 |
品質と訓練費用の両方で勝った。片方だけなら置き換えは進まなかったはずです。
なぜ大規模化につながったか
この論文の影響が大きかったのは、翻訳の精度そのものより、並列化できるようになったことのほうでしょう。
順番の縛りが消えたので、計算機を増やせば増やしただけ速くなる。訓練するデータの量も、モデルの大きさも、資金を投じれば伸ばせるようになりました。
その後の数年で起きたのは、この方向への一斉の投資です。構造そのものは大きく変わらないまま、規模だけが桁違いに大きくなっていった。
符号化と復号という2つの役割
論文が扱ったのは翻訳でした。入力の文を読む部分と、出力の文を書く部分に分かれています。
その後の発展で、この2つは分けて使われるようになりました。読む側だけを取り出したものは、文の意味を数値にする用途に向く。エンベディングを作るのはこちらの系統です。
書く側だけを取り出したものが、いまの生成AIになりました。前の語の並びから次の語を予測する形に特化しています。GPTのGはGenerative、生成の意味です。
それでも万能ではない
この構造が優れているのは事実ですが、弱点も引き継いでいます。
語数が増えると計算量が急に増えるため、長い文脈を扱うのは苦手です。工夫は積み重なっているものの、根本の性質は残っている。長い入力の真ん中が読み飛ばされる現象も、この延長線上にあります。
次の語を確率で選ぶという性質も同じです。答えが毎回変わることも、もっともらしい嘘が出ることも、ここから来ています。
仕組みを知っておくと、こうした挙動が不具合ではなく設計の帰結だと分かります。直そうとするより、前提として受け止めたほうが早い。
いまも同じ土台の上にある
最新のモデルも、基本の構造はこの論文の延長線上にあります。改良は積み重なっていますが、注意機構を中心に据える点は変わっていません。
利用者として知っておくと効くのは、一度に渡せる量に上限がある理由です。全部の語の関係を計算するので、語数が増えると計算量が急に増える。だから枠が設けられている。
長い資料を渡すと料金が上がり、応答が遅くなるのも、突き詰めればこの構造から来ています。
なお、論文が発表された2017年の時点では、この構造が対話や文章生成にここまで使われるとは想定されていませんでした。題名にあるとおり、翻訳の効率を上げる工夫として書かれたものです。
用途が後から広がった例として見ると、いまのAIの発展が単線ではなかったことも分かります。
出典
構造の説明と数値は、下記の原論文に基づきます。発表当時の経緯は、Google Research公式ブログの記事も参照しました。
