スケーリング則とは｜大きくするだけでは足りないと分かった話

2020年ごろの共通認識は単純でした。モデルを大きくすれば賢くなる。パラメータ数を増やせば増やすほど性能が伸びる。

この理解が2022年の論文で修正されます。大きさだけでは足りない、という話でした。

400を超えるモデルで確かめた

Jordan Hoffmann氏ほかによる Training Compute-Optimal Large Language Models。2022年3月の公開です。

やったことが力技でした。7000万から160億パラメータまで、400を超えるモデルを実際に訓練する。読ませるデータも50億から5000億トークンまで振る。そのうえで、決まった計算資源に対して何が最適かを調べています。

結論はこうでした。

モデルの大きさと訓練トークン数は、等しく拡大されるべきである。モデルの大きさを2倍にするなら、訓練トークン数も2倍にするべきだ

当時のモデルは、大きさに対してデータが足りていませんでした。片方だけを伸ばしていたわけです。

論文は証拠としてChinchillaというモデルを作りました。700億パラメータ。同じ研究所のGopherと同じ計算資源を使いながら、4倍のデータを読ませています。

Training Compute-Optimal Large Language Models（arXiv:2203.15556）より

4分の1の大きさで、より大きいモデルを上回った。パラメータ数を競うことに意味がない、と示した形になります。

後から見れば当たり前に見える結論ですが、当時これが分からなかったのには理由があります。

確かめるには、条件を変えた大量のモデルを実際に訓練する必要がある。400を超えるモデルを訓練できる研究所は限られていました。仮説を立てても検証できない。

それに、大きさを増やすほうが分かりやすい成果になります。「世界最大のモデル」は発表として強い。データを増やしても外からは見えません。

計測してみて初めて、力の入れどころが間違っていたと分かった。数字を測る側の設計が結果を左右する、という点でも示唆的な話です。

誤解を避けるために、範囲も書いておきます。

この論文が扱ったのは、決まった計算資源をどう配分するかという問題でした。計算資源そのものを増やせばどうなるか、という話ではありません。

また、対象は当時の構成の言語モデルです。答える前に考える工程を持つ現在のモデルには、そのまま当てはまらない部分があります。訓練の話と、使うときの計算量の話は別だからです。

論文の結論を「小さいモデルのほうが良い」と読むのも行き過ぎでしょう。同じ計算資源なら釣り合いを取れ、という話です。

この発見のあと、開発の方向が変わりました。

小さくて賢いモデルを作る流れが強まります。小さいモデルは動かす費用が安く、応答も速い。同じ性能なら小さいほうがよいので、当然の帰結でした。

提供各社がパラメータ数を公表しなくなったのも、この時期からです。数字を出しても意味がないうえ、小さいことが弱みではなくなった。

モデルを選ぶときにパラメータ数を見る意味は、いまはほとんどありません。自分の用途に近い評価の項目を見るほうが役に立ちます。

この法則には、続きがあります。

モデルを2倍にするならデータも2倍。この関係を続けていくと、いずれ読ませるデータが尽きます。インターネット上の文章は有限だからです。

実際、近年の開発では新しいデータの確保が課題になっています。出版社との契約、専門分野のデータの購入、そしてモデル自身が生成したデータの利用。ライセンスを取得した素材で学習し直す動きも、この文脈に置くと理解しやすい。

データの量で押す方向が行き詰まりつつあるので、別の伸ばし方が探されている段階です。答える前に考える工程を長くする手法が注目されているのも、そのひとつでしょう。

なお論文の題は「計算資源に対して最適な訓練」であって、「最良のモデルの作り方」ではありません。限られた資源をどう使うかという実務的な問いに答えたものです。

そう読むと、いま各社が公開しているモデルの大きさの幅にも説明がつきます。用途ごとに最適な点が違うだけで、大きいほうが上等という関係ではない。

実験の規模、結論、Chinchillaの数値は、下記の論文に基づきます。Chinchilla以前の前提となった元のスケーリング則についても、下記の原論文を参照しました。