【生成AI入門】アラインメントとは｜RLHFとインストラクションチューニングをやさしく解説

ChatGPTに質問すると、指示どおりに、丁寧に、そして危険な依頼には断りを入れながら答えてくれます。実はこれ、当たり前ではありません。「アラインメント」と呼ばれる特別な仕上げの工程があるからこそです。この記事では、AIを人間の意図や価値観に沿わせるアラインメントの考え方と、その代表的な手法である「インストラクションチューニング」「人間のフィードバックによる学習」を、初心者向けにやさしく解説します。

📖 この項目で学ぶこと

この記事で扱うのは、シラバスの理解項目「大規模言語モデルのアラインメントを理解している。」です。

前の項目(1-3)で学んだとおり、事前学習を終えたばかりのLLMは「文章の続きを予測する機械」です。実はこの状態のモデルは、意外なほど「使いにくい」存在です。たとえば「京都のおすすめ観光地を教えて」と入力しても、質問に答える代わりに「大阪のおすすめグルメを教えて。名古屋の見どころを教えて。」のように、似た文が続くだけの出力を返すことがあります。「質問文の続きとしてありそうな文章」を予測した結果です。さらに、学習データにはインターネット上の有害な表現や偏った内容も含まれるため、放っておけば危険な指示にもそのまま応じてしまいかねません。

そこで必要になるのが、モデルを「人間の意図・指示・価値観に沿って振る舞う」ように仕上げる工程、すなわちアラインメントです。この記事では、アラインメントという目標(ゴール)と、それを実現する2大手法(インストラクションチューニング、人間のフィードバックによる学習)を学びます。「ゴールが1つ、手段が2つ」という構図で読み進めてください。

🔍 キーワードをやさしく解説

アラインメント (Alignment)

アラインメント(Alignment)とは、ひと言でいうと「AIの振る舞いを、人間の意図・指示・価値観に沿うように整えること」です。英語のalignは「整列させる・方向をそろえる」という意味で、「AIの目指す方向」と「人間が望む方向」をそろえる作業、とイメージしてください。

身近な例えでいうと、「知識は豊富だが接客経験ゼロの新人を、一人前の窓口担当に育てる研修」です。事前学習を終えたLLMは、膨大な知識を持つものの、「聞かれたことに答える」「丁寧に話す」「やってはいけないことは断る」といった振る舞いをまだ知りません。アラインメントは、この新人に接客マナーと職業倫理を教え込む工程にあたります。

アラインメントで目指す方向性として、たとえば次のような性質がよく挙げられます。

重要なのは、アラインメントは「賢さを上げる」工程ではなく「振る舞いの方向を人間に合わせる」工程だという点です。また、完璧なアラインメントは実現が難しく、どんな価値観に合わせるべきかという問い自体が難題であることも、あわせて知っておきましょう。

インストラクションチューニング (Instruction Tuning)

インストラクションチューニング(Instruction Tuning)とは、ひと言でいうと「『指示文』と『その指示へのお手本回答』のペアを大量に学習させて、指示に従う能力を身につけさせるファインチューニング」のことです。インストラクション(instruction)は「指示」という意味です。

身近な例えは、「模範応対集を使った窓口研修」です。「お客様にこう聞かれたら、こう答えるのがお手本です」という応対例を何千件も読み込んで練習することで、初めて受ける質問にも応対の型を応用できるようになります。LLMも同じで、「次の文章を要約してください→(お手本の要約)」「英語に翻訳してください→(お手本の翻訳)」といった多様な指示と回答のペアで追加学習することで、見たことのない新しい指示に対しても、指示の意図をくみ取って応える力が付きます。

インストラクションチューニングのポイントは次のとおりです。

• 1-3で学んだファインチューニングの一種であり、教師あり学習(お手本ペアを使った学習)として行われます
• これを経ることで、モデルは「続きの予測機械」から「指示に従うアシスタント」へと変わります
• 多様な種類の指示で訓練するほど、未知の指示への対応力(汎化)が高まることが知られています

「事前学習で知識を、インストラクションチューニングで『指示に従う型』を身につける」と整理しておきましょう。

人間のフィードバックによる学習

人間のフィードバックによる学習とは、ひと言でいうと「AIが出したいくつかの回答に人間が評価(フィードバック)を付け、評価の高い回答を出す方向へモデルを調整していく学習方法」です。代表的な手法はRLHF(Reinforcement Learning from Human Feedback: 人間のフィードバックからの強化学習)と呼ばれ、対話型AIの品質を大きく高めた立役者として知られています。

身近な例えは、「先輩からのダメ出しと褒めで上達する接客修行」です。模範応対集(インストラクションチューニング)だけでは、「どちらの言い方がより感じが良いか」「どこまで踏み込んだ回答が適切か」といった微妙なさじ加減までは学べません。そこで、実際の応対を先輩がチェックし、「この答え方のほうが良い」と比較評価を返す。修行中の本人は、褒められる応対の傾向をつかんで自分の振る舞いを磨いていく。これが人間のフィードバックによる学習のイメージです。

RLHFの典型的な流れを、ごく簡単に紹介します(細部は覚えなくて大丈夫です)。

1. 同じ指示に対してモデルに複数の回答を生成させる
2. 人間の評価者が「どの回答がより良いか」を順位付けする
3. その評価データから「人間の好みを予測する採点係(報酬モデル)」を作る
4. 採点係から高得点をもらえる回答を出すように、モデルを強化学習(良い行動が増えるよう報酬で調整する学習法)で訓練する

この方法の利点は、「良い回答とは何か」を言葉やルールで完全に定義しなくても、人間の比較評価(こっちのほうが良い)という形で価値観を教え込めることです。一方で、評価者の好みや偏りがモデルに反映されうること、人間に好まれる回答を優先するあまり事実性が犠牲になる場合があることなど、限界も指摘されています。

なお、3つのキーワードの関係はこう整理できます。アラインメントという目標を実現するための代表的な手段が、インストラクションチューニングと人間のフィードバックによる学習(RLHFなど)。実際のLLM開発では「事前学習→インストラクションチューニング→人間のフィードバックによる学習」という順で仕上げていくのが典型的な流れです。

💬 実生活・仕事でどう役立つ？

アラインメントを知ると、普段のChatGPTなどの「ふるまいの理由」がわかるようになります。たとえば、危険な物の作り方を尋ねると断られるのは、モデルが「無害であること」に向けてアラインメントされているからです。また、ときどき回答が過度に慎重だったり、当たり障りのない答えに寄ったりするのも、フィードバックによる調整の副作用として理解できます。「AIの個性や口調は、開発元がどんな方針でアラインメントしたかの反映でもある」という視点を持つと、複数のAIサービスの応答の違いも冷静に観察できるようになります。

仕事でAIを使う場面では、「指示に従うように訓練されている」という性質そのものが活用のヒントになります。インストラクションチューニング済みのモデルは、あいまいな文章より明確な指示文に強く反応します。「○○の立場で」「箇条書きで」「〜は含めないで」のように、研修で教わったお手本の形式に近い、はっきりした指示を出すことが、良い回答への近道です。また、AIの回答に対して「もっと簡潔に」「その根拠は?」と追加のフィードバックを会話の中で返すことで応答が改善していく体験は、まさに人間のフィードバックで良くなっていくこの仕組みの縮図といえます。

📝 生成AIテストではこう問われる

📚 まとめ

次の「1-5 生成の仕組み」では、こうして仕上がったLLMを実際に使うときの動き方、すなわちプロンプトから答えが生まれるまでの仕組みを学びます。