2026-05

いま使われている生成AIは、ほぼすべて同じ土台の上に建っています。2017年に発表されたTransformerという構造です。何を置き換えたのか、なぜそれで一気に進んだのかを、原論文の記述から整理します。

RAGは、AIに答えさせる前に必要な資料を探してきて渡す仕組みです。モデルを訓練し直さずに社内の情報を扱えるようになり、答えの根拠も示せます。2020年の原論文が何を問題視していたのかから、実際の組み立て方までを整理します。

コンテキストウィンドウは、AIが一度に受け取れる文章の量です。ただし入れられる量と、ちゃんと使ってくれる量は別です。長い入力の真ん中に置いた情報が読み飛ばされる現象は論文で確かめられています。仕組みと、渡し方の工夫を整理します。

AIの料金は文字数ではなくトークンで数えられています。同じ内容を書いても、日本語は英語の約1.46倍のトークンを消費します。トークンが何なのか、なぜ日本語が不利になるのかを、実際に数えた結果とあわせて整理します。