「良い応答」に点数をつける数式は書けなくても、人間なら2つの応答を見比べて「こちらが良い」と選べます。この人間の判断を報酬の代わりに使う強化学習がRLHFです。ChatGPTを支えた技術として有名ですが、本記事では強化学習の応用としての仕組みを軸に解説します。
📖 ひと言でいうと
RLHF(Reinforcement Learning from Human Feedback、人間のフィードバックからの強化学習)とは、人間による評価(ランク付けなど)から報酬モデルを学習し、それを使ってエージェントの方策を強化学習で最適化する手法です。
例えるなら、料理の味を「塩分◯g、糖度◯度なら100点」と数式で定義する代わりに、試食者に食べ比べてもらって「どちらが美味しいか」を集め、その好みを学んだ採点係(報酬モデル)に採点させながら腕を磨くようなものです。
🖼 1枚でわかるRLHF
📘 公式テキストの説明
RLHF（Reinforcement Learning from Human Feedback）は、人間のフィードバックを活用してエージェントの行動方針を最適化する手法である。このアプローチは、従来の強化学習が直面していた報酬関数の設計や評価の難しさを克服するために提案された。RLHFのプロセスは主に3つのステップで構成される。まず、エージェントが生成した複数の行動や出力に対して、人間が好ましい順にランク付けを行う。次に、そのランク付けデータを用いて、エージェントの行動を評価する報酬モデルを学習する。最後に、この報酬モデルを基にエージェントの方針を強化学習アルゴリズムで最適化する。これにより、エージェントは人間の価値観や意図に沿った行動を学習することが可能となる。RLHFは、特に大規模言語モデル（LLM）の訓練において有効性が示されている。例えば、OpenAIのChatGPTはRLHFを活用して、ユーザーからのフィードバックを取り入れ、より適切な応答を生成する能力を向上させている。この手法により、モデルは単なるデータからの学習にとどまらず、人間の価値観や意図を反映した出力を生成できるようになる。しかし、RLHFには課題も存在する。人間のフィードバックの質や一貫性がモデルの性能に直接影響を与えるため、評価者の選定や訓練が重要となる。また、高品質なフィードバックの収集には時間とコストがかかるため、効率的なデータ収集方法の検討が求められる。
読み解きのポイントは「なぜ人間のフィードバックが必要か」です。強化学習は報酬さえ定義できれば強力ですが、「役に立つ丁寧な文章」のような目標は数式で書けません。RLHFは、人間の比較判断というデータから報酬関数そのものを学習してしまうことで、この報酬設計の壁を越えます。
🔍 しっかり理解する
報酬設計の壁——強化学習の弱点から出発する
ゲームなら「スコア」、ロボットの歩行なら「進んだ距離」のように報酬を定義できる場面では、強化学習はそのまま使えます。しかし「文章の良さ」「対話の適切さ」「安全な振る舞い」のような目標は、人間の価値観そのものであり、数値化の手続きが存在しません。無理に単純な報酬を設計すると、エージェントは報酬の抜け穴を突く不自然な行動を学びがちです。RLHFはこの問題への解答として、「報酬関数は人間の判断から学ぶ」という発想の転換を行いました。この系統の研究は、2017年に発表された「人間の好み(選好)から深層強化学習を行う」研究が源流の1つとされています。
3つのステップを図で追う
重要なのは、人間が全部の出力を採点し続けるのではない点です。人間の判断はステップ①でデータとして集め、ステップ②で報酬モデルという「人間の好みの代理人」に写し取ります。ステップ③の強化学習では、この報酬モデルが自動で大量の採点をこなすため、人手を無限に使わずに済む構造になっています。方策の最適化には、更新の安定性に優れたPPOなどの強化学習アルゴリズムが用いられます。
なぜ「点数を付けさせる」のではなく「比較させる」のか
ステップ①がランク付け(比較)なのには理由があります。人間が絶対評価で「この応答は78点」と付けるのは難しく、評価者ごと・日ごとのブレも大きくなります。一方「AとBのどちらが良いか」という相対比較は判断が安定しやすく、データの質が上がります。比較データの蓄積から一貫した点数付けの基準を作るのは、報酬モデルの学習に任せるわけです。
💡 具体例で考える
ChatGPT——RLHFを世界に知らしめた応用
RLHFの知名度を一気に高めたのが、OpenAIのChatGPTです。大規模言語モデルは大量のテキストから次の単語を予測する学習(事前学習)だけでは、指示に従わない・不適切な内容を出すといった問題が残ります。そこで、人間の評価者がモデルの複数の応答をランク付けし、報酬モデルを作り、PPOで方策(モデル)を最適化するRLHFを適用することで、「指示に従い、役に立ち、有害な出力を避ける」方向へ応答を調整しました。生成AIの文脈で登場するRLHFも、中身はここで学ぶ強化学習の3ステップそのものです。
ロボットへの応用イメージ
言語モデル以外でも、報酬が書きにくいタスクにはRLHFの発想が使えます。例えば「バク宙のような曲芸的な動き」をロボットやシミュレーション上のエージェントに学ばせたいとき、動きの良さを数式化するのは困難ですが、人間が2つの動画を見比べて良い方を選ぶことは簡単です。前述の2017年の源流研究では、まさにこうした比較フィードバックだけでシミュレーション上のエージェントに複雑な動作を学習させています。
⚠️ よくある誤解・紛らわしい用語
- 「人間が直接報酬を毎回与える」のではない — 人間の判断は報酬モデルの学習データとして使われます。強化学習の実行中に採点するのは報酬モデルであって人間ではありません。
- 教師あり学習・ファインチューニングとの違い — 正解出力をそのまま真似させるのが教師あり学習(模倣)です。RLHFは「どちらが好ましいか」という相対評価から報酬を作り、強化学習で最適化する点が異なります。
- RLHFは言語モデル専用ではない — LLMでの成功が有名ですが、本質は「報酬設計が難しいタスク一般」への強化学習の適用手法です。
- 万能ではない — 公式テキストの指摘どおり、フィードバックの質と一貫性に性能が左右され、高品質なデータ収集には時間とコストがかかります。評価者の偏りは、そのままモデルの偏りになり得ます。
📝 試験でのポイント
- 「報酬関数の設計の難しさを克服するために提案された」という動機が定義問題の軸になります。
- 3ステップの順序(人間のランク付け→報酬モデルの学習→強化学習で方策最適化)を並べ替える形式が想定されます。特に「報酬モデルを学習してから方策を最適化する」順序が急所です。
- ChatGPT・大規模言語モデルとの結び付きは、生成AI分野との横断問題で問われる可能性があります。
- 課題面(フィードバックの質・一貫性への依存、収集コスト)まで含めて選択肢化されることがあります。
📚 まとめ
- RLHFは、人間のフィードバックから報酬モデルを学習し、それを使って方策を強化学習で最適化する手法です。
- 「人間のランク付け→報酬モデルの学習→強化学習(PPO等)による最適化」の3ステップで構成されます。
- 報酬関数を数式で設計できないタスクに強化学習を適用可能にした点が本質的な貢献です。
- ChatGPTをはじめとする大規模言語モデルの訓練で有効性が示された一方、フィードバックの質・コストという課題も抱えています。
