強化学習をゼロから始めると、まともに動くようになるまで膨大な試行錯誤が必要です。しかし、人間が設計したそこそこ動く制御がすでに手元にあるなら、その「足りない分」だけを学習すればよいのでは？——この発想を形にしたのが残差強化学習です。
📖 ひと言でいうと
残差強化学習とは、経験や計算に基づいて設計した初期方策(ベースの制御)をそのまま活かし、最適な方策との差分(残差)だけを強化学習で学習する手法です。ゼロから学ぶより探索が少なくて済み、学習の効率化と収束の高速化が期待できます。
例えるなら、自転車の練習で補助輪付き(初期方策)から始めて、バランス取りの微調整(残差)だけを体で覚えていくようなものです。最初から転び放題で学ぶより、はるかに早く安全に上達できます。
🖼 1枚でわかる残差強化学習
📘 公式テキストの説明
残差強化学習は、既存の方策に対して強化学習を適用し、最適な方策との差分（残差）を学習する手法である。このアプローチでは、まず経験や計算に基づいて初期方策を設定し、その後、強化学習を通じて初期方策と最適方策の差分を学習する。これにより、学習の効率化が期待できる。例えば、ロボットの制御において、基本的な制御方策を人間の知識や経験から設計し、その上で強化学習を用いて微調整を行うことで、より高度な制御が可能となる。この手法は、初期方策がある程度の性能を持つ場合に特に有効であり、学習の初期段階での探索を減らし、収束を早める効果がある。残差強化学習は、従来の強化学習と比較して、初期方策の質に依存する側面がある。適切な初期方策を設定することで、学習の効率と性能が向上するが、不適切な初期方策を選択すると、学習が停滞する可能性もある。したがって、初期方策の設計と強化学習の組み合わせが重要となる。
かみ砕くと、「全部を学習で置き換える」のではなく「人間の知識で作った土台に、学習による修正を上乗せする」役割分担です。強化学習が担当する範囲を差分だけに絞ることで学習が楽になる一方、土台(初期方策)の出来が悪ければ効果が出ない、という表裏の関係も明記されています。
🔍 しっかり理解する
仕組み——最終的な行動は「土台+修正」の足し算
残差強化学習の全体像は次の流れで整理できます。
実行時の行動は、概念的には「初期方策の出力 + 学習した残差の出力」という足し算です。学習前は残差がほぼゼロなので、エージェントは最初から初期方策と同程度には動けます。学習が進むにつれ、初期方策では拾いきれない状況への修正が残差として積み上がり、全体の性能が土台を超えていきます。
なぜ効率が上がるのか
ゼロからの強化学習では、初期のエージェントはでたらめに動くため、報酬にたどり着くまでの探索が膨大になります。実機のロボットなら、でたらめな動作は時間だけでなく破損のリスクも意味します。残差強化学習では、探索の出発点が「そこそこ動く方策」の近傍になるため、①報酬が得られる経験を最初から集めやすい、②危険な行動に踏み込みにくい、③学習すべき対象が差分だけなので問題が小さい、という三重の効率化が働きます。公式テキストのいう「学習の初期段階での探索を減らし、収束を早める効果」の中身がこれです。
弱点——土台がすべての前提
一方で、この手法の成否は初期方策の質に依存します。初期方策がある程度の性能を持つ場合に特に有効と明記されているとおり、土台がまともに動くことが前提です。不適切な初期方策——たとえば根本的に間違った方向へ誘導する制御——を選ぶと、残差学習はその周辺しか探索しないため、正解から遠い場所で学習が停滞する可能性があります。「人間の知識をどう設計に落とすか」と「学習に何を任せるか」の切り分けこそが、この手法を使いこなす鍵です。
💡 具体例で考える
ロボットアームの組み立て作業
残差強化学習が活躍する典型例が、部品の挿入や組み付けといったロボットアームの接触を伴う作業です。「目標位置へアームを動かす」制御は古典的な制御工学(位置制御など)で正確に設計できます。しかし、部品同士がこすれ合うときの微妙な力加減は、摩擦や個体差のせいでモデル化が難しい領域です。そこで、位置制御を初期方策として土台に据え、接触時の押し付け方向や力の微調整だけを強化学習で上乗せします。全体をゼロから学ぶより、はるかに少ない試行で実用的な動作に到達できます。
「9割は設計、最後の1割を学習」という思想
この手法の背後には、「既に解けている部分まで学習し直すのは無駄」という実務的な思想があります。製造業の現場には長年蓄積された制御ノウハウがあり、それを捨ててAIに全面置換するのは非効率かつ危険です。残差強化学習は、既存資産を活かしながら学習の恩恵だけを足す「人間の知識と機械学習のハイブリッド」の代表例として理解すると、位置づけが明確になります。
⚠️ よくある誤解・紛らわしい用語
- ResNetの残差学習との混同 — ディープラーニングの画像認識で登場するResNet(残差ネットワーク)は、層の入出力の差分を学習するネットワーク構造の話です。残差強化学習は方策の差分を学習する強化学習の枠組みで、「残差(足りない分だけ学ぶ)」という発想は似ていますが別の概念です。
- 模倣学習・オフライン強化学習との違い — 模倣学習は人間のお手本データから方策を作る手法、オフライン強化学習は過去データのみで学ぶ手法です。残差強化学習は「設計済みの制御器」を土台に、環境との相互作用で差分を学ぶ点が異なります。
- 初期方策は学習で作るとは限らない — 初期方策は「経験や計算に基づいて設計」されるもので、人手設計の制御則で構いません。むしろそこが「人間の知識を活かす」というこの手法の持ち味です。
- 常に有効な手法ではない — 初期方策の質が低いと学習が停滞し得ます。「どんな場合でもゼロから学ぶより速い」と断定する選択肢は誤りです。
📝 試験でのポイント
- 定義の核は「初期方策と最適方策の差分(残差)を強化学習で学習する」です。「残差=差分」という言い換えを見抜けるようにしましょう。
- 利点は「学習初期の探索削減」「収束の高速化」、条件は「初期方策がある程度の性能を持つこと」という対応を押さえましょう。
- 「初期方策が不適切だと学習が停滞する可能性がある」という限界の記述は、正誤問題の材料になり得ます。
- 応用例として「ロボット制御(人手設計の基本制御+強化学習による微調整)」が挙げられます。
📚 まとめ
- 残差強化学習は、設計済みの初期方策を土台に、最適方策との差分(残差)だけを強化学習で学ぶ手法です。
- 探索の出発点が「そこそこ動く方策」になるため、初期の無駄な探索が減り、収束が早まります。
- 実行時の行動は「初期方策の出力+学習した残差」の合成で、人間の知識と学習のハイブリッドといえます。
- 効果は初期方策の質に依存し、不適切な土台では学習が停滞する可能性がある点も試験で問われるポイントです。
