【生成AI入門】モデル圧縮とは？量子化・蒸留・枝刈りの仕組みをわかりやすく解説

「あの巨大なAIモデルが、手元のパソコンで動いた」——そんな話を可能にしているのがモデル圧縮です。この記事では、代表的な3手法「量子化・蒸留・枝刈り」がそれぞれ何をどうやって減らしているのかを、親記事より一歩踏み込んで、仕組みから丁寧に解説します。

📖 ひと言でいうと

モデル圧縮とは、モデルの性能をできるだけ保ったまま、サイズ(メモリ使用量)や計算量を減らす技術の総称です。

身近な例えでいうと、引っ越しの荷造りに似ています。写真の解像度を下げてデータを軽くするのが「量子化」、分厚い専門書の内容を要点ノートに書き写すのが「蒸留」、使っていない物を思い切って処分するのが「枝刈り」。どれも「生活の質(性能)をなるべく落とさずに、荷物(サイズ)を減らす」工夫です。

🖼 1枚でわかるモデル圧縮

🔍 しっかり理解する

そもそもモデルはなぜ「重い」のか

大規模言語モデルの本体は、学習で調整された膨大な数のパラメーター(数値)です。コンピューターは数値を「ビット」という単位で記録しており、1つの数値を細かく(高精度に)記録するほど、多くのビット、つまり多くのメモリが必要になります。パラメーターが数十億個規模になると、モデルを読み込むだけで大量のメモリが要り、1回の応答にも膨大な計算が発生します。だからこそ、オープンモデルを手元の機器で動かしたり、サービスの運用コストを下げたりするには、「軽くする」技術が不可欠なのです。

量子化 — 数値の「記録の細かさ」を削る

量子化は、パラメーターを記録する数値の精度を意図的に粗くする手法です。例えば1個の数値を16ビットで記録していたものを8ビットにすれば、モデルのメモリ使用量はおよそ半分になります。さらに4ビットまで粗くすれば、そのまた半分です。親記事では「体重62.348kgを約62kgと記録する」と例えましたが、もう一歩踏み込むと、量子化とは「連続的な細かい値を、あらかじめ決めた飛び飛びの目盛りに割り当て直す」操作です。目盛りの間隔をどう設計するかが腕の見せどころで、値がよく現れる範囲に目盛りを集中させるなどの工夫で、精度の低下を最小限に抑えます。

進め方には大きく2つの流儀があります。学習が終わったモデルを後から変換する「学習後の量子化」は手軽で広く使われます。一方、あらかじめ「後で粗くされること」を想定しながら学習させる「量子化を意識した学習」は手間がかかるぶん、粗い精度でも性能が落ちにくいモデルを作れます。いずれにせよ、削りすぎれば微妙なニュアンスの区別が失われ、性能は徐々に劣化します。「どこまで粗くしても実用に耐えるか」のバランス探しが量子化の本質です。

蒸留 — 先生の「答え方」ごと学ぶ

蒸留(知識蒸留)は、大きく高性能な「先生モデル」の振る舞いを、小さな「生徒モデル」に学ばせる手法です。ポイントは、生徒が学ぶのが「正解」だけではないことです。先生モデルは、例えば画像を見て「猫90%、犬8%、狐2%」のように、自信の度合いを含んだ答え方をします。この「間違え方・迷い方」の情報には、正解ラベル単体よりずっと豊かな知識が詰まっています。「犬と狐は猫と紛らわしいが、車とは全く紛らわしくない」といった世界の捉え方ごと、生徒に受け継がせられるのです。

大規模言語モデルの世界では、先生モデルに大量の文章や模範解答を生成させ、それを教材として小さなモデルを学習させるやり方も広く「蒸留」と呼ばれます。高性能な小型モデルの多くが、この考え方の恩恵を受けています。なお、他社のサービスの出力を使った蒸留は利用規約で制限されている場合があり、権利面の注意も必要です。

枝刈り — 「働いていない部分」を切り落とす

枝刈りは、モデルの中で出力にほとんど影響していないパラメーターを見つけてゼロにする(=削除する)手法です。学習済みモデルの中には、値がごく小さいなど、いてもいなくてもほぼ結果が変わらないパラメーターが少なからず存在することが知られています。庭木の剪定のように、そうした枝を刈り込むわけです。

刈り方には2種類あります。個々のパラメーターを一本一本選んで刈る「非構造化枝刈り」は、細かく刈れる反面、穴あきチーズのようなまだらな構造が残り、実際の計算速度向上につながりにくい面があります。一方、ニューロンや層といった「まとまり」ごと刈る「構造化枝刈り」は、モデルの形自体が小さくなるため速度やメモリの改善に直結しやすい手法です。また、刈った直後は性能が落ちるため、軽い再学習で性能を回復させる工程を挟むのが一般的です。

3手法は排他的ではなく、組み合わせて使えます。例えば「蒸留で小型モデルを作り、さらに量子化して配布する」のは定番の流れです。

観点	量子化	蒸留	枝刈り
何を減らす	数値1個あたりの記録の細かさ	モデルそのものを小さく作り直す	パラメーターの個数
例え	写真の解像度を下げる	先生の要点を生徒が学ぶ	庭木の剪定
学習のやり直し	基本は不要(後から変換可)	生徒の学習が必要	回復のための再学習が望ましい
つまずきやすい点	削りすぎると性能劣化	先生の質と教材づくりに依存	刈り方次第で速度が上がらない

💡 具体例で考える

ある開発者が、公開されている大規模言語モデルを自宅のパソコンで動かそうとしたとします。配布ページには同じモデルの「16ビット版」「8ビット版」「4ビット版」が並んでいました。手元のメモリでは16ビット版は読み込めませんでしたが、4ビット版なら動きます。試してみると、日常的な質問への応答は元の版とほとんど区別がつかず、ごく微妙な言い回しの精度が下がった程度でした。これが量子化の恩恵です。

また、スマートフォンに搭載される小型AIを考えてみましょう。電池や発熱の制約から、大きなモデルは載せられません。そこで開発元は、大規模モデルを先生役として小型モデルを蒸留し、さらに量子化して搭載しました。「クラウドの巨大モデルの知恵を、ポケットサイズに写し取る」——モデル圧縮は、AIを身近な機器に届けるための橋渡し役なのです。

⚠️ よくある誤解・つまずきポイント

📝 生成AIテストではこう出る

📚 まとめ