【生成AI入門】LLMの性能は何で決まる？｜スケーリング則・LoRA・MoE・モデルマージをやさしく解説

なぜ大規模言語モデルは年々賢くなっているのでしょうか。その答えの中心にあるのが「スケーリング則」という経験則です。この記事では、モデルの性能を決める要素と、限られた計算資源で性能を引き出すための工夫(LoRA・MoE・モデルマージなど)を、初心者向けにやさしく解説します。

📖 この項目で学ぶこと

この記事が対象とするのは、シラバスの理解項目「大規模言語モデルの性能を決める要素の動向と原因について理解している。」です。

「AIの性能はどうすれば上がるのか」。この問いに対して、研究の積み重ねから見えてきたシンプルな答えがあります。それは、「モデルを大きくし、データを増やし、計算量を増やせば、性能は一定の法則に従って伸びていく」というものです。この経験則が「スケーリング則」で、近年の大規模化競争の直接の原因になりました。

しかし、ひたすら大きくするやり方には、計算資源(コンピューターの能力)や電力の面で限界も見えてきます。そこで動向として重要になっているのが、「データの質を高める」「計算を効率化する」「学習済みモデルを組み合わせる」といった、賢く性能を引き出す工夫です。この記事では、性能を決める基本3要素と、効率化のための代表的な技術を順に見ていきます。

🔍 キーワードをやさしく解説

スケーリング則 (Scaling Laws)

スケーリング則 (Scaling Laws) をひと言でいうと、「モデルの規模・データの量・計算量を増やすほど、言語モデルの性能が予測可能な形でなめらかに向上していく、という経験則」です。

身近な例えでは、勉強に置き換えると分かりやすいでしょう。「脳の容量(モデルの規模)」「教材の量(データ)」「勉強時間(計算量)」の3つをバランスよく増やせば、成績が着実に伸びていく、というイメージです。重要なのは、この伸び方がかなり規則的で、「これだけ資源を投入すれば、だいたいこれくらいの性能になる」と事前に見積もれる点です。

この法則の発見が、各社がこぞって巨大なモデルを作るようになった大きな原因です。やみくもな投資ではなく、「大きくすれば良くなる見込みが高い」という根拠があったからこそ、大規模化競争が起きました。また、規模を大きくしていく過程で、それまでできなかったタスクが急にできるようになる現象が報告されており、大規模化への期待を後押ししました。厳密には、スケーリング則は「必ず成り立つ物理法則」ではなく、観測にもとづく経験則である点に注意してください。

モデルのパラメーター数

モデルのパラメーター数をひと言でいうと、「モデル内部の調整つまみの個数」で、モデルの規模を表す代表的な指標です。

パラメーターとは、学習を通じて値が調整される無数の数値のことです。例えるなら、巨大な音響機器に付いた調整つまみのようなもので、つまみが多いほど複雑で繊細な音作り(=複雑な言語のパターンの記憶と処理)ができます。大規模言語モデルの「大規模」とは、主にこのパラメーター数が莫大であることを指します。スケーリング則における「モデルの規模」にあたる要素で、一般に数が多いほど高い性能が期待できますが、そのぶん学習にも利用にも大きな計算資源が必要になります。

データセットのサイズ

データセットのサイズをひと言でいうと、「学習に使うデータの総量」です。

どれほど大きな脳(パラメーター)があっても、読む教材が少なければ実力は伸びません。研究が進む中で、「モデルの規模に見合った十分な量のデータで学習させることが重要」だと分かってきました。つまり、パラメーター数とデータ量はバランスが大事で、モデルだけ大きくしてデータが不足すると、資源の割に性能が伸びない「学習不足」の状態になります。この知見は、限られた計算予算をモデルの規模とデータ量にどう配分するかという、開発戦略の重要な指針になっています。

データセットの質

データセットの質をひと言でいうと、「学習データがどれだけ正確で、多様で、ノイズが少ないか」です。

例えるなら、教材の「冊数」だけでなく「内容の良さ」も成績を左右する、ということです。誤りだらけの参考書を大量に読むより、良質な参考書を厳選して読むほうが力が付くのと同じで、ウェブから集めた雑多なテキストをそのまま使うのではなく、重複や低品質な文章を取り除いたり、教科書のように整った文章を選んだりする「データの厳選」が性能を大きく左右することが分かってきました。近年は、質の高いデータで学習した比較的小さなモデルが、より大きなモデルに匹敵する性能を示す例も報告されており、「量から質へ」という動向の象徴になっています。

GPU

GPUをひと言でいうと、「単純な計算を大量に同時並行でこなすのが得意な半導体チップ」です。英語のGraphics Processing Unitの略で、もともとはゲームなどの画像描画のために作られました。

例えるなら、一人の天才(CPU)が難しい仕事を順番にこなすのに対し、GPUは数千人の作業員が単純作業を一斉にこなす巨大工場です。大規模言語モデルの学習は、膨大な数のかけ算と足し算の繰り返しでできているため、この「一斉に大量計算」が得意なGPUと相性が抜群でした。スケーリング則に従って性能を伸ばすには計算量が必要で、その計算量を現実的な時間でこなす手段がGPUです。このため世界的にGPUの需要が高まり、GPUの確保が各国・各社のAI開発力を左右する状況が生まれています。

計算資源の効率化 (LoRA, Mixture of Experts など)

計算資源の効率化をひと言でいうと、「同じ性能をより少ない計算で実現する(または同じ計算でより高い性能を出す)ための技術群」です。大規模化のコスト増大が、こうした技術が発達した原因です。代表例を2つ紹介します。

LoRAは、ひと言でいうと「モデル本体はそのままに、小さな追加部品だけを学習させる効率的なファインチューニング手法」です。例えるなら、分厚い辞書の全ページを書き換える代わりに、必要な箇所に付箋を貼って補足するイメージです。変更箇所を小さな部品に限定するため、少ない計算資源と保存容量で、モデルを特定の用途に適応させられます。

Mixture of Experts (MoE) は、ひと言でいうと「モデル内部に複数の専門家チームを持ち、入力ごとに一部の専門家だけを働かせる仕組み」です。例えるなら、総合病院の受付で症状に応じて適切な診療科だけに案内するイメージです。全職員(全パラメーター)を毎回総動員しないため、モデル全体としては巨大でも、1回あたりの計算量を抑えられます。この方式を採用した大規模言語モデルが増えていることも、重要な動向の一つです。

モデルマージ

モデルマージをひと言でいうと、「複数の学習済みモデルのパラメーターを混ぜ合わせて、1つの新しいモデルを作る手法」です。

例えるなら、数学が得意な先生と英語が得意な先生の「頭の中」をブレンドして、両方に強い一人の先生を作ってしまうような発想です。驚くべきことに、条件がそろえば追加の学習をほとんど行わずに、元のモデルたちの得意分野を併せ持ったモデルが得られる場合があります。大量のGPUで一から学習し直す必要がないため、計算資源が限られた開発者でも高性能モデルづくりに挑戦できる方法として、オープンモデルのコミュニティを中心に活発に使われています。厳密には、混ぜれば必ず良くなるわけではなく、元のモデル同士の相性などに左右されます。

💬 実生活・仕事でどう役立つ？

AI関連のニュースを読み解く力が付きます。「パラメーター数○○のモデルを発表」「MoEを採用」「GPUの需給が逼迫」といった記事は、この記事の知識があれば「規模を伸ばしたのか、効率化で勝負しているのか」という文脈で理解できます。新しいモデルの発表を見たときに、規模・データ・効率化のどこに工夫があるのかを見る習慣を付けると、技術動向に流されない判断ができます。

また、自社で生成AIのカスタマイズを検討する場面では、「一からモデルを作る」以外に、LoRAのような軽量なファインチューニングや、既存モデルの組み合わせ(モデルマージ)といった低コストな選択肢があると知っていることが、現実的な企画立案につながります。「高性能=巨大で高価」とは限らない、という感覚を持てることがこの項目の実務的な価値です。

📝 生成AIテストではこう問われる

📚 まとめ

次の「1-10 マルチモーダル化」では、テキスト以外の情報も扱えるようになったモデルの進化を見ていきます。