【生成AI入門】LoRA・MoEとは？計算資源を効率化する2大技術をわかりやすく解説

「大きくすれば賢くなる。でも、その計算費用は誰が払うの？」——スケーリング則の裏側で深刻になったこの問題に答えるのが、計算資源の効率化技術です。この記事では代表格のLoRAとMixture of Experts (MoE)について、それぞれ「何を」「どうやって」節約しているのかを、親記事より一歩踏み込んで解説します。

📖 ひと言でいうと

計算資源の効率化とは、より少ない計算・メモリで同等の性能を実現する(または同じ資源でより高い性能を引き出す)ための技術群です。LoRAは「モデルのカスタマイズ(追加学習)」を、MoEは「モデルの構造そのもの」を効率化します。

身近な例えでいうと、家計の節約に似ています。LoRAは「家全体をリフォームせず、必要な部屋にだけ手を入れる」節約術、MoEは「社員全員を毎回招集せず、案件ごとに担当チームだけ働かせる」分業術です。どちらも「ムダを省いて、少ない資源で成果を出す」という同じゴールに向かっています。

🖼 1枚でわかる計算資源の効率化

🔍 しっかり理解する

なぜ効率化が必要になったのか

モデルを特定の用途に適応させる基本手段はファインチューニング(ひと言でいうと「学習済みモデルに追加のデータで再学習させること」)ですが、すべてのパラメーターを更新する「フル」なやり方には大きな負担があります。学習中はパラメーター本体に加えて更新用の作業データもメモリに載せる必要があり、必要なメモリはモデル本体よりさらに膨らみます。しかも用途ごとにモデルの完全なコピーを保存することになり、保存容量も莫大です。大規模化が進むほどこの負担は非現実的になり、「賢く手を抜く」技術が求められました。

LoRA — 変化分だけを小さな部品で学ぶ

LoRA(Low-Rank Adaptation)は、この問題への代表的な答えです。発想はシンプルで、「元のパラメーターは一切変更せず(凍結)、変化分だけを別の小さな部品として学習する」というものです。

なぜ小さな部品で足りるのでしょうか。フルファインチューニングでモデルがどう変わるかを調べると、その変化は見かけほど複雑ではなく、少数の基本パターンの組み合わせでかなり近似できることが分かってきました。LoRAはこの性質を利用し、巨大な変化の表をそのまま持つ代わりに、「小さな2つの表の掛け合わせ」で変化分を表現します(これが「低ランク」の意味です)。例えるなら、分厚い辞書の全ページを書き換える代わりに、要点だけをまとめた薄い付箋セットを挟み込むイメージです。

利点は3つあります。第一に、更新するパラメーターが激減するため、学習に必要なメモリと計算が大幅に減ります。第二に、成果物がモデル全体のコピーではなく小さなアダプターなので、保存も配布も軽く、「法務用」「サポート用」など用途別に付け替えられます。第三に、本体を凍結しているため元の能力を壊しにくく、失敗してもアダプターを外せば元通りです。さらに、量子化(1-8参照)した本体の上でLoRA学習を行うQLoRAと呼ばれる手法もあり、手元の限られた機材でのカスタマイズを後押ししました。厳密には、LoRAは「学習の効率化」であって、モデルの応答(推論)自体を速くする技術ではありません。学習後にアダプターを本体へ合成すれば、推論の追加コストをなくすこともできます。

Mixture of Experts (MoE) — 全員を働かせない構造

MoEは、モデルの構造そのものを効率化するアプローチです。モデル内部に「エキスパート」と呼ばれる部分ネットワークを複数並べ、その手前に「ルーター」(振り分け役)を置きます。入力されたトークンごとに、ルーターが「この処理はこの専門家が向いている」と少数のエキスパートだけを選んで働かせ、残りは休ませます。

この結果、モデルが持つパラメーターの総数(総パラメーター)は巨大でも、1トークンの処理に実際に使われるパラメーター(アクティブパラメーター)はその一部だけ、という状態が実現します。「知識の倉庫は大きく、1回の作業は軽く」——これがMoEの本質です。スケーリング則が示す「規模の恩恵」を、計算量の爆発を抑えながら取り込める設計として、この方式を採用する大規模言語モデルが増えています。

ただし注意点もあります。休んでいるエキスパートも、いつでも呼び出せるようにメモリに載せておく必要があるため、MoEは「計算の節約」にはなっても「メモリの節約」にはなりにくい方式です。また、ルーターの振り分けが特定のエキスパートに偏ると効率が落ちるため、負荷を分散させる学習上の工夫が必要です。なお「専門家」といっても、「数学担当」「英語担当」のような人間に分かりやすい分担になるとは限らず、役割分担は学習の中で自然に形成されます。

💡 具体例で考える

ある中堅企業が、公開モデルを自社の問い合わせ対応向けにカスタマイズしたいと考えたとします。フルファインチューニングには高価な計算環境が必要で予算オーバー。そこでLoRAを使い、手持ちの機材で過去の問い合わせデータを学習させたところ、小さなアダプターファイルを作るだけで自社用の受け答えが実現できました。さらに経理向け・技術サポート向けのアダプターを別々に作り、同じ本体に付け替えて使い分けています。「1つの土台+複数の付箋セット」という運用は、LoRAならではです。

一方、MoEの恩恵は利用者からは見えにくいところで効いています。あなたが使うAIサービスの裏側でMoE型モデルが動いていれば、事業者は「巨大な知識量」と「1応答あたりの計算費用の抑制」を両立できます。同じ費用でより多くの利用者に、より賢いモデルを提供できる——この経済性が、MoE採用が広がる理由です。

⚠️ よくある誤解・つまずきポイント

📝 生成AIテストではこう出る

📚 まとめ