AIの話には、性質のまったく違う2つの段階が混ざっています。
モデルを作る段階と、できたモデルを使う段階。学習と推論と呼ばれます。この区別が付くと、料金の仕組みも、モデルの制約も説明がつくようになります。
2つの段階
| 学習 | 推論 | |
|---|---|---|
| 何をするか | 大量のデータからモデルを作る | できたモデルに質問して答えを得る |
| 誰がやるか | 提供元 | 利用者 |
| 回数 | 1つのモデルにつき1回 | 使うたび |
| 費用の規模 | 数十億から数百億円と報じられる | 1回あたり数円から数十円 |
| 期間 | 数週間から数か月 | 数秒 |
鋳型を作る作業と、その鋳型で製品を作る作業の関係に似ています。型を彫るのは大変ですが、彫り上がれば量産できる。
学習の重さ
どれくらい重いのか。スケーリング則の論文が、当時の状況を示しています。
この研究では、7000万から160億パラメータまで400を超えるモデルを訓練しました。それが実行できる研究所は限られている。その前提が論文の背景にありました。
画像生成でも同じでした。拡散モデルの論文は、強力なモデルの最適化にしばしば数百GPU日を要すると書いています。
個人や中小企業が土台から作る話ではありません。作られたものを使う側に回るのが現実的です。
推論の費用
利用者が払っているのは、こちらの費用です。
1回あたりは安い。ただし回数が積み上がると効いてきます。人が手で押しているうちは知れていますが、自動で回し始めると桁が変わる。
近年は、答える前に内側で考える工程を持つモデルが増えました。この考えたぶんも推論の費用に含まれます。学習を重くする方向から、推論を重くする方向へ、力の入れどころが移りつつあるとも言えます。
知識が古い理由
この区別が付くと、よくある疑問も解けます。
モデルが最近の出来事を知らないのは、学習が終わった時点で中身が固まるからです。使いながら覚えていくわけではない。会話の中で教えたことも、その会話が終われば消えます。
新しい情報を反映するには、学習をやり直すしかない。数か月かかる作業なので、頻繁にはできません。
だから資料を探して渡す仕組みや、検索機能が用意されています。学習をやり直す代わりに、推論のときに情報を添える。この設計の理由も、突き詰めればここ。
自分で学習させる場合
土台から作るのは無理でも、既存のモデルに追加で学習させることはできます。
ただし、これも学習の一種なので、それなりの計算資源と時間がかかる。しかも一度やれば終わりではありません。土台のモデルが新しくなれば、また同じ作業をやり直すことになる。
追いかけ続ける負担が重いことは、提供する側も同じでした。OpenAIが小さいモデルを別に用意する方向に力を入れているのも、この事情と無関係ではないでしょう。
推論の速さは何で決まるか
同じモデルでも、応答の速さは条件しだいです。
出力が長いほど時間がかかる。1語ずつ順に生成するので、書く量に比例して伸びます。入力の長さも効きますが、こちらは出力ほどではありません。
考える工程を持つモデルは、その分だけ待たされます。画面に何も出ない時間が長いのは、裏で考えているからです。
混み具合でも変わる。同じ設定でも時間帯によって速さが違うのは、計算資源の取り合いが起きているためでしょう。優先処理の枠を用意しているサービスがあるのも同じ事情です。
実務での判断に効くところ
この区別を知っておくと、判断が速くなる場面があります。
「うちのデータでAIを作りたい」という相談は、たいてい学習の話として語られます。ただ実際に必要なのは、既存のモデルに資料を渡す仕組みであることがほとんど。作る話と使う話を分けると、規模も費用も現実的な数字に落ちます。
本当に学習が必要な場面も、もちろん存在する。専門分野の語彙が大量にあり、指示や資料では届かない場合。ここは重い判断になるので、まず使う側で試し切ってから検討する順番が安全でしょう。
どちらの話をしているかを分ける
ニュースを読むときにも、この区別が効きます。
「学習に使われたデータ」の話と、「使ったときの出力」の話は別問題です。著作権の議論でも、学習段階と生成・利用段階は分けて判断される、と整理されています。
電力消費の話も同じ。訓練にかかる電力と、日々の利用にかかる電力は別に数えます。総量では後者のほうが大きくなっていく構造です。
どちらの段階の話をしているのかを確かめると、記事の主張が正確に読めます。
出典
訓練の規模に関する記述は、下記の論文に基づきます。
