ものさし

画像生成AIは、絵を描いているのではありません。砂嵐のようなノイズから、少しずつノイズを取り除いて絵を浮かび上がらせています。拡散モデルの考え方と、それが手元のパソコンで動くようになった転機を整理します。

「有給の申請方法」で検索して「休暇取得の手続き」という文書が見つかる。キーワードが一致していないのに探せるのは、文章を数値の並びに変換しているからです。エンベディングとベクトル検索の考え方と、つまずきどころを整理します。

蒸留は、大きなモデルが持っている判断のしかたを、小さなモデルに写し取る技術です。2015年にHintonらが提案した考え方が、いまの軽量モデルの土台になっています。何をどう受け渡しているのか、そして利用者から見て何が変わるのかを整理します。

同じ質問を二度投げると、違う答えが返ってきます。これは不具合ではなく、次の単語を確率で選んでいるからです。最も確率の高い語だけを選ばせると文章が壊れることも論文で示されています。仕組みと、揺れを抑える方法を整理します。