「要約して」「翻訳して」と頼むだけでAIが応えてくれるのは、当たり前のようでいて、実は特別な訓練の成果です。その訓練がインストラクションチューニングです。このページでは、どんなデータでどう訓練するのか、なぜ習っていない指示にも従えるようになるのか、そして何が苦手なのかまで、一段深く解説します。
📖 ひと言でいうと
インストラクションチューニング(Instruction Tuning)とは、「指示文」と「その指示へのお手本回答」のペアを大量に学習させることで、モデルに指示へ従う能力を身につけさせるファインチューニングのことです。お手本を使った教師あり学習として行われるため、SFT(Supervised Fine-Tuning: 教師ありファインチューニング)という呼び名で語られることもあります。
身近な例えでいうと、「応対の型を身につけるための、模範問答集を使った反復練習」です。個々の問答を丸暗記するのが目的ではなく、練習を通じて「指示を受けたら、その意図に応える」という型そのものを体得させるのがねらいです。
🖼 1枚でわかるインストラクションチューニング
🔍 しっかり理解する
教材の中身: 「指示とお手本」のデータセット
インストラクションチューニングの学習データは、おおむね次のような形をしています。
| 構成要素 | 内容 | 例 |
|---|---|---|
| 指示 | してほしいことを述べた文 | 「次の文章を1文で要約してください」 |
| 入力(付ける場合) | 指示の対象となる素材 | (要約対象の文章) |
| お手本回答 | 人間が望ましいと考える応答 | (模範的な1文要約) |
このペアを、要約・翻訳・分類・質問応答・文章作成・言い換えなど、できるだけ多様なタスクにわたって大量に用意し、モデルに「指示を受けたらお手本のように応じる」ことを教師あり学習で覚えさせます。データは人手で作られるほか、既存の課題データを指示文の形に書き直したり、モデル自身に下書きを作らせて人間が手直ししたりと、さまざまな方法で整備されます。ここでも「量とともに質と多様性が命」という、学習データの原則が当てはまります。
なぜ「習っていない指示」にも従えるようになるのか
インストラクションチューニングの最大の不思議は、訓練データに入っていない初めての指示、たとえば「この議事録を俳句にして」のような依頼にも、それなりに応えられるようになることです。
種明かしをすると、モデルが学んでいるのは個々の問答ではなく、「指示→意図の理解→意図に応じた応答」という抽象的な型だからです。事前学習によってモデルはすでに、言語の扱いや幅広い知識を持っています。インストラクションチューニングは、その眠っている能力を「指示に応える」という形式で引き出すスイッチを入れる工程だといえます。だからこそ、事前学習に比べればずっと少ないデータ量でも効果が出ます。
このとき重要なのがタスクの多様性です。似た指示ばかりで訓練すると「その種類の指示」への対応しか身につきませんが、多種多様な指示で訓練すると、「指示一般に従う」という汎用的な型が形成され、未知の指示への対応力(汎化能力)が高まることが知られています。
ビフォーアフター: 応答はこう変わる
- 入力:「富士山の高さを教えて」
- 出力:「琵琶湖の広さを教えて。信濃川の長さを教えて。」
- 質問文の「続きらしい文」を予測してしまう
- 入力:「富士山の高さを教えて」
- 出力: 富士山の標高を答える説明文
- 入力を「応えるべき指示」として扱える
注目してほしいのは、AもBも持っている知識は同じだという点です。基礎モデルも富士山の知識は事前学習で得ています。変わったのは知識ではなく、「入力を指示として受け止め、応える」という振る舞いの型です。「事前学習で知識を、インストラクションチューニングで指示に従う型を」という役割分担を、この対比でしっかりイメージしておきましょう。
限界: 「型」は教えられても「加減」は難しい
インストラクションチューニングは、アラインメント(項目k1-4-1)を実現する第一の手段ですが、これだけでは仕上がりません。お手本を写す学習の性質上、次のような限界があるからです。
- お手本にない「良し悪しの加減」を教えにくい: どのくらい丁寧に、どこまで踏み込んで答えるべきかといった微妙なさじ加減は、お手本の暗記的な学習だけでは伝わりきりません
- 「悪い例」から学べない: お手本は「こう答えるべき」の集まりであり、「この答え方は良くない」という負の情報を直接は与えられません
- お手本の品質がそのまま上限になる: 質の低いお手本や偏ったお手本で訓練すれば、その水準・偏りが応答に反映されます
そこで実際のLLM開発では、インストラクションチューニングで「指示に従う型」を作ったあと、人間のフィードバックによる学習(RLHF。項目k1-4-2)で「良し悪しの加減」を磨き込む、という2段構えが典型です。「型はSFT、加減はRLHF」と整理して覚えると、両者の違いが明確になります。
💡 具体例で考える
新しく配属された翻訳担当の新人を想像してください。語学力(事前学習済みの能力)は抜群ですが、依頼メールに対して雑談で返してしまうなど、仕事の受け方を知りません。そこで先輩が「依頼と模範対応」の事例集を渡して練習させたところ、翻訳依頼はもちろん、事例集にない「この資料の要点を英語でメモして」という頼まれ方にも、適切に応えられるようになりました。事例集の目的が個々の依頼の暗記ではなく「依頼への応え方の型」の習得だった、という点がインストラクションチューニングの本質と重なります。
もう1つ、オープンモデルを使う開発現場の例です。公開されている基礎モデルをそのまま試すと、チャットがまるで成立しませんでした。そこで公開されている指示応答データセットでインストラクションチューニングを行ったところ、同じモデルが一転して対話アシスタントとして機能するようになりました。基礎モデルと「チャット用モデル」が別物として配布されているのは、まさにこの工程を経ているかどうかの違いです。
⚠️ よくある誤解・つまずきポイント
- 誤解:「インストラクションチューニングで新しい知識を教えている」 → 正しくは、主に教えているのは「指示に従う振る舞いの型」です。知識の大部分は事前学習で獲得済みです
- 誤解:「ファインチューニングとは別の技術」 → 正しくは、ファインチューニングの一種です。「指示応答のためのファインチューニング」という位置づけを押さえましょう
- 誤解:「訓練した指示にしか従えない」 → 正しくは、多様な指示で訓練することで、未知の指示にも汎化できるようになるのがこの手法の要点です
- 誤解:「これだけでアラインメントは完成する」 → 正しくは、微妙な好みや価値観の調整はRLHFなどの後工程が受け持ちます。役割の違いを混同しないようにしましょう
📝 生成AIテストではこう出る
- 定義を問う形式。「指示と模範回答のペアを用いたファインチューニングで、指示に従う能力を高める手法」を選ばせる問題が想定されます
- 効果を問う形式。「多様な指示で訓練することで、訓練にない未知の指示への対応力(汎化)が高まる」という記述の正誤判定が考えられます
- 工程の順序を問う形式。「事前学習→インストラクションチューニング→人間のフィードバックによる学習」という典型的な流れの並べ替えや正誤が問われ得ます
- 役割の対比に注意。「知識の獲得=事前学習/指示に従う型=インストラクションチューニング/好みの調整=RLHF」の対応を入れ替えた誤答が定番です
📚 まとめ
- インストラクションチューニングは、「指示+お手本回答」のペアで行う教師ありファインチューニング(SFT)です
- 教えているのは個々の答えではなく「指示に従う型」であり、多様なタスクで訓練するほど未知の指示への汎化が高まります
- 基礎モデルと知識量は変わらないのに、振る舞いが「続きの予測」から「指示への応答」へ一変します
- お手本にない微妙な加減までは教えにくいため、RLHFなどのフィードバック学習と組み合わせてアラインメントが仕上げられます
