【生成AI入門】事前学習とは？LLMの土台を作る仕組みを初心者向けにわかりやすく解説

ChatGPTのようなAIは、なぜあれほど幅広い話題に答えられるのでしょうか。その秘密のほとんどは、モデルが完成する前に行われる「事前学習」という巨大な下準備に詰まっています。このページでは、事前学習で実際に何が行われているのかを、一段深く掘り下げて解説します。

📖 ひと言でいうと

事前学習(Pre-training)とは、特定の用途に合わせる前の段階で、膨大なテキストデータを使ってモデルに言葉と知識の基礎能力を身につけさせる、最初の大がかりな学習工程のことです。

身近な例えでいうと、「辞書も先生もなしで、図書館の本を片っ端から多読して言葉を覚える」ような学び方です。誰かが1つずつ意味を教えてくれるわけではないのに、大量の文章に触れ続けるうちに、言葉の使い方や世の中の常識が自然と染み込んでいく。事前学習はこれをコンピューター上で、人間には不可能な規模で行うものです。

🖼 1枚でわかる事前学習

🔍 しっかり理解する

事前学習で実際にやっていること

親記事(1-3)で学んだとおり、事前学習では自己教師あり学習(データ自身から問題と正解を自動で作る学習方法)が使われます。では、具体的にはどんな「問題」を解き続けているのでしょうか。

代表的なのは「次の単語の予測」です。たとえば学習データに「日本の首都は東京です」という文があれば、モデルには「日本の首都は」までを見せて、次に来る言葉を予測させます。モデルが「大阪」と答えたら、正解の「東京」との差の分だけ、内部のパラメーター(ひと言でいうと、モデルの振る舞いを決める膨大な調整用の数値)を少し修正します。この「予測→答え合わせ→微修正」のサイクルを、文章のあらゆる位置で、膨大なテキストに対して繰り返すのが事前学習の正体です。

やっていること自体は驚くほど単純です。しかしこの単純な作業を桁外れの規模で行うと、単語当てがうまくなる「ついで」に、文法・語彙・事実知識・簡単な推論の型までもがモデルに刻み込まれていきます。

なぜ「単語当て」だけで知識が身につくのか

ここが事前学習のいちばん面白いところです。次の単語を正確に予測しようとすると、実は言葉の表面だけでは足りないのです。

つまり「次の単語当て」という課題は、正解率を上げようとすればするほど、言語と世界に関する幅広い理解を要求してくる、とても欲張りな問題なのです。事前学習は、この性質を利用して「単語予測の腕を磨かせることで、結果的に汎用的な言語能力を獲得させる」仕掛けだといえます。

事前学習の工程をたどる

事前学習は「データを流し込むだけ」ではありません。おおまかには次のような流れで進みます。

見落とされがちなのが2番目の前処理です。「量が多ければ多いほどよい」わけではなく、同じ文章の重複を除いたり、質の低いテキストや有害な内容を減らしたりする下ごしらえが、モデルの品質を大きく左右します。生成AIの実力は、アルゴリズムだけでなく「どんな教材を食べさせたか」で決まる、という感覚を持っておきましょう。

また、事前学習の規模を決める主な要素は「データ量・パラメーター数・計算資源」の3つです。これらをバランスよく増やすほど性能が向上する傾向が知られており、この関係は「スケーリング則」(項目1-9)として整理されています。事前学習が学習全体の中で圧倒的にコストの大きい段階である理由も、この3要素をすべて大規模に投入するからです。

事前学習を終えたモデルの「できること・できないこと」

事前学習だけを終えたモデルは基礎モデル(Foundation Model)と呼ばれる状態で、幅広い言語能力と知識を備えています。しかし、次の2つの重要な限界があります。

1つ目は、指示に従う振る舞いをまだ知らないこと。この段階のモデルはあくまで「続きの予測機械」なので、質問しても質問文の続きらしき文章を返してくることがあります。人間の指示に応えるアシスタントにするには、ファインチューニングやアラインメント(項目1-4)という後工程が必要です。

2つ目は、知識が学習データの時点で止まること。モデルの知識の大部分は事前学習で取り込んだテキストに由来するため、それ以降に起きた出来事は基本的に知りません。これが「知識カットオフ」(項目1-11)と呼ばれる性質の根本原因です。知識を最新化するには再度の大規模な学習や、検索などの外部ツールとの連携が必要になります。

💡 具体例で考える

架空の例で、事前学習中のモデルの「成長」を観察してみましょう。学習を始めたばかりのモデルに「むかしむかし、あるところに」の続きを予測させると、でたらめな文字の羅列しか出せません。しばらく学習が進むと「おじいさん」など、それらしい単語を出せるようになります。さらに学習が進むと、文法的に正しく、物語の定型に沿った自然な続きを生成できるようになっていきます。誰も「昔話の書き方」を教えていないのに、単語当ての反復だけで書き方の型が身についていくのです。

もう1つの例です。ある会社が「自社専用のAIをゼロから事前学習で作りたい」と考えたとします。しかし調べてみると、必要なのは膨大なテキストデータと大量のGPU、そして長い学習時間で、とても自社だけでは負担できないと分かりました。そこで方針を変え、公開されている事前学習済みモデルを土台に、自社データでファインチューニング(項目k1-3-4)する道を選びました。実務では、事前学習は一部の開発組織が担い、多くの企業はその成果物を土台として活用する、という分業が一般的です。

⚠️ よくある誤解・つまずきポイント

📝 生成AIテストではこう出る

📚 まとめ