【生成AI入門】LLMの学習方法｜事前学習・ファインチューニング・自己教師あり学習をやさしく解説

大規模言語モデル(LLM)は、生まれつき賢いわけではなく「学習」によって育てられます。この記事では、AIの学習の基本である「教師あり学習」から、LLMを支える「自己教師あり学習」、そして「事前学習→ファインチューニング」という2段階の育て方まで、人間の学びにたとえながら丁寧に解説します。生成AIテスト第1章の中でも、用語どうしの関係が問われやすい重要項目です。

📖 この項目で学ぶこと

この記事で扱うのは、シラバスの理解項目「大規模言語モデルにおけるモデルの学習方法を理解している。」です。

そもそもAIにおける「学習」とは何でしょうか。ひと言でいうと、大量のデータを見せて、モデル内部の膨大な数値(パラメーター)を少しずつ調整し、良い予測ができるようにしていく作業のことです。人間が問題集を解いて答え合わせをしながら実力を上げていくのに似ています。

LLMの学習を理解するコツは、2つの軸で整理することです。1つ目の軸は「正解データ(お手本)を誰が用意するか」で、ここに教師あり学習と自己教師あり学習という区別があります。2つ目の軸は「学習の段階(順序)」で、ここに事前学習とファインチューニングという区別があります。この2軸はよく混同されるので、「前者はお手本の用意のしかたの話、後者は育成ステップの話」と分けて覚えるのが攻略のポイントです。

結論を先に示すと、現在の典型的なLLMは「まず自己教師あり学習のやり方で事前学習を行い、その後、教師あり学習のやり方でファインチューニングを行う」という流れで育てられます。それぞれの言葉を順番に見ていきましょう。

🔍 キーワードをやさしく解説

教師あり学習

教師あり学習とは、ひと言でいうと「問題と正解のペアを人間が用意し、それをお手本にAIを訓練する方法」のことです。「教師」といっても先生役の人間が横に付きっきりになるわけではなく、「正解ラベル(お手本)付きのデータ」のことを教師と呼んでいます。

身近な例えは、解答付きの問題集です。「この写真は猫(正解ラベル:猫)」「このメールは迷惑メール(正解ラベル:迷惑)」のように、問題と答えのセットを大量に解かせて、間違えるたびに答えに近づくよう調整していきます。従来のAI開発の王道であり、精度を出しやすい反面、大きな弱点があります。正解ラベルを人間が付ける作業(アノテーションと呼ばれます)に膨大な手間とコストがかかるのです。何億件ものデータに人手でラベルを付けるのは現実的ではありません。この弱点を乗り越える発想が、次の自己教師あり学習です。

自己教師あり学習

自己教師あり学習とは、ひと言でいうと「人間がラベルを付けなくても、データそのものから問題と正解のペアを自動的に作り出して学習する方法」のことです。「自己」という名前は、データが自分自身で教師(お手本)の役割を果たすことに由来します。

身近な例えは、文章の一部を隠して当てる「穴埋めクイズの自作自演」です。たとえば「吾輩は猫である」という文があれば、「吾輩は猫で___」と最後を隠して「ある」を当てさせる問題が作れます。正解はもとの文章に書いてあるので、人間がラベルを付ける必要はゼロです。LLMの訓練では、まさにこの「文章の続き(次の単語)を予測させ、実際の続きを正解として答え合わせする」というクイズを、膨大なテキストに対して何兆回も繰り返します。

この方法の画期的な点は、インターネット上などにある膨大なテキストを、ほぼそのまま教材にできることです。ラベル付けのコストという壁が消えたことで、学習データを桁違いに増やせるようになり、「大規模」言語モデルが実現しました。1-1で学んだ「次の言葉を確率で予測する」能力は、この自己教師あり学習によって鍛えられたものです。

厳密には、自己教師あり学習は「正解をデータ自身から自動生成する点が特徴の、教師あり学習の発展形」といえます。試験では「人間によるラベル付けが不要」という点が最大の識別ポイントになります。

事前学習

事前学習とは、ひと言でいうと「特定の用途に合わせる前に、まず大量のデータで幅広い基礎能力を身につけさせる、最初の大がかりな学習段階」のことです。英語ではPre-trainingと呼ばれます。

身近な例えでいうと、就職前の「学校教育」です。特定の会社の仕事はまだ知らなくても、読み書き・語彙・一般常識といった土台の力を、長い時間をかけて幅広く身につける段階にあたります。LLMの事前学習では、前述の自己教師あり学習(次の単語当てクイズ)を膨大なテキストに対して行い、言葉の使い方、文法、世の中の幅広い知識のパターンをモデルに吸収させます。

事前学習には次の特徴があります。

ただし、事前学習を終えただけのモデルは「文章の続きを予測する機械」にすぎず、人間の指示に素直に従う対話AIには、まだなっていません。そこで次の段階が必要になります。

ファインチューニング

ファインチューニング(Fine-tuning)とは、ひと言でいうと「事前学習を終えたモデルに、目的に合わせた追加の学習を行い、微調整すること」です。fineは「細かい」、tuningは「調整」という意味で、日本語でも「微調整」と訳されることがあります。

身近な例えでいうと、入社後の「新人研修・OJT」です。学校教育(事前学習)で基礎力を付けた新入社員に、配属先の仕事のやり方を比較的短期間で教え込む段階です。ゼロから育てるのに比べて、はるかに少ないデータとコストで、目的に合った専門性や振る舞いを身につけさせられます。

ファインチューニングでは、目的に応じたデータを使った教師あり学習が典型的に行われます。たとえば次のような使われ方です。

• 対話・指示応答のための調整: 「指示文とお手本回答」のペアを学習させ、質問に答えるアシスタントとして振る舞えるようにする(この方法は項目1-4で「インストラクションチューニング」として詳しく学びます)
• 専門分野への特化: 医療・法律・金融など、特定分野の文書で追加学習し、その分野の用語や言い回しに強くする
• 自社業務への適応: 自社の文書スタイルや業務知識に合わせて調整する

ここまでの4つの用語の関係をまとめると、次の1文になります。「LLMはまず、自己教師あり学習の方法で事前学習を行って汎用の基礎力を獲得し、その後、教師あり学習の方法でファインチューニングを行って、目的に合った振る舞いを身につける」。この1文が頭に入っていれば、この項目は合格です。

💬 実生活・仕事でどう役立つ？

この2段階の育て方を知っていると、生成AIサービスの説明やニュースが格段に読み解きやすくなります。たとえば「自社データでファインチューニングしたチャットボットを開発」という記事は、「汎用のLLMを土台に、自社の質問応答データで追加調整した」という意味だと正確に理解できます。ゼロからのAI開発と追加調整とでは、必要なコストもデータ量も桁が違うため、この区別は業務でAI導入を検討するときの判断材料になります。

また、「なぜChatGPTは最近の出来事を知らないことがあるのか」という素朴な疑問にも答えられるようになります。LLMの知識の大部分は事前学習の時点のデータに由来するため、学習に使われた時期より後の情報は基本的に知りません(この話は項目1-11「知識カットオフ」で詳しく学びます)。「AIの知識は学習した教材の範囲と時期で決まる」という感覚を持っておくと、AIの答えをどこまで信頼するかの判断が上手になります。さらに、自分の業務でAI活用を提案する際も、「まずは既存モデルをそのまま使う→足りなければプロンプトの工夫→それでも足りなければファインチューニングを検討」という順序で考えられると、現実的な計画が立てられます。

📝 生成AIテストではこう問われる

📚 まとめ

次の「1-4 アラインメント」では、ファインチューニングの先にある「AIを人間の意図や価値観に沿わせる」ための仕上げの工程を学びます。