【G検定】Actor-Criticとは？行動器と評価器で学ぶ強化学習の仕組みをわかりやすく解説

強化学習には「価値を学ぶ」流派と「方策を直接学ぶ」流派があります。Actor-Criticは、その両方のいいとこ取りをした手法です。この記事では、行動器(Actor)と評価器(Critic)がどのように協力して学習を進めるのかを、初心者向けにていねいに解説します。

📖 ひと言でいうと

Actor-Criticとは、行動を決める「行動器(Actor)」と、その行動の良し悪しを採点する「評価器(Critic)」の2つの部品を用意し、両者を交互に更新しながら学習を進める強化学習の手法です。例えるなら、演技をする俳優(Actor)と、それを採点する批評家(Critic)の関係です。俳優は批評家の採点を手がかりに演技を磨き、批評家自身も採点の精度を上げていく——この二人三脚がActor-Criticの本質です。

🖼 1枚でわかるActor-Critic

Actor-Critic — 行動器と評価器の二人三脚

Actor(行動器) — 方策を持ち、行動を決定する担当
Critic(評価器) — 価値関数で行動の良し悪しを評価する担当
組み合わせ型 — 価値関数ベース×方策勾配ベースのいいとこ取り
利点 — 連続的な行動空間に対応・学習が安定し収束が速い
実装例 — A2C、DDPGなど

つくもち屋「G検定対策」SUMMARY

📘 公式テキストの説明

価値関数ベースと方策勾配ベースの考え方を組み合わせた手法であり、行動を決定する「行動器」（Actor）と価値評価を行う「評価器」（Critic）を用意し、両者を交互に更新しながら学習を進める方法である。アルゴリズムの名前は、これら行動器と評価器から成っていることに由来する。具体的な実装例としては、A2C（Advantage Actor-Critic）やDDPG（Deep Deterministic Policy Gradient）などが存在する。Actor-Criticの利点は、行動器が直接方策を学習することで、連続的な行動空間に対応できる点である。また、評価器によって行動価値を評価し、方策の改善に利用することで、学習の安定性が向上し、収束速度も早くなる。さらに、価値関数と方策勾配法を組み合わせることで、方策勾配法の分散の問題や、価値関数ベースの手法における最適行動の発見の困難さを緩和することができる。Actor-Criticアルゴリズムの欠点としては、ハイパーパラメータ調整が必要な場合があり、学習の効果に大きく影響することがある。

少し難しい文章ですが、要点は3つです。第一に、強化学習の2大アプローチ(価値関数ベース・方策勾配ベース)を組み合わせた手法であること。第二に、行動を決めるActorと採点役のCriticという2つの部品からできていること。第三に、組み合わせることで両アプローチの弱点(分散の大きさ、最適行動の見つけにくさ)を補い合えることです。以下で順番に見ていきましょう。

🔍 しっかり理解する

2つの流派には、それぞれ弱点があった

強化学習には大きく2つのアプローチがあります。Q学習に代表される価値関数ベースは、行動ごとの「価値」を学び、価値が最大の行動を選ぶ方法です。しかし、ロボットの関節に加える力のように行動が連続値の場合、無数の行動の価値を比較して最適なものを見つけるのは困難です。

一方、REINFORCEに代表される方策勾配ベースは、方策(行動の選び方)そのものを直接学習するため連続的な行動も扱えます。しかし、試行ごとの報酬のばらつきに更新が振り回されやすく(分散が大きい)、学習が不安定になりがちです。Actor-Criticは、この両者を組み合わせて弱点を打ち消し合う設計になっています。

ActorとCriticの役割分担

🅰 Actor(行動器)

方策そのものを担当
状態を受け取り、行動を決定・出力する
Criticの評価を手がかりに方策を改善(方策勾配ベース)

🅱 Critic(評価器)

価値関数を担当
Actorが選んだ行動の価値を推定・採点する
実際の報酬とのずれから採点精度を改善(価値関数ベース)

Actorは状態を受け取って行動を出力する「方策」そのものです。Criticは価値関数を推定し、Actorの行動が「事前の見込みと比べてどれだけ良かったか」を計算します。このずれ(TD誤差やアドバンテージと呼ばれます)がActorの更新の手がかりになり、見込みより良い結果を出した行動は選ばれやすく、悪かった行動は選ばれにくくなります。

なぜ学習が安定し、速くなるのか

REINFORCEのような純粋な方策勾配法は、1回のエピソード(試行)が終わるまで更新できず、しかもエピソードごとの結果のばらつきをそのまま受け取ってしまいます。Actor-Criticでは、Criticが学習した価値の見積もりを「基準点」として使うため、報酬の生のばらつきに振り回されにくくなり、エピソードの途中でも一歩ごとに更新を進められます。これが「学習の安定性が向上し、収束速度も早くなる」という公式テキストの記述の意味です。

代表的な実装例

A2C(Advantage Actor-Critic)は、行動価値から状態価値を引いた差分「アドバンテージ」でActorを更新し、分散をさらに抑える実装です。DDPG(Deep Deterministic Policy Gradient)は、連続的な行動空間を対象に、決定論的な方策とディープラーニングを組み合わせた実装です。試験ではこの2つが「Actor-Criticの具体例」として挙げられることを押さえておきましょう。

💡 具体例で考える

ロボットアームに物をつかませる制御を考えます。各関節に加えるトルクは連続値なので、Q学習で扱うには行動を細かく離散化する必要があり、関節数が増えると組み合わせが爆発してしまいます。Actor-Critic系のDDPGなら、Actorが「この状態ならこのトルク」と連続値を直接出力し、Criticがその結果を採点して改善を導くため、離散化なしで滑らかな制御を学習できます。

もう1つの例がゲームAIです。画面を見てキャラクターを操作するタスクでは、Actorが操作を選び、Criticが「この局面の有利さ」を推定して採点します。Actor-Criticを並列化したA3Cという発展形は、多数のゲーム環境を同時に走らせて学習を高速化した実装として知られています。

⚠️ よくある誤解・紛らわしい用語

💡 ポイント

「CriticがActorに正解の行動を教える」は誤解 — Criticがするのは価値の推定(採点)だけで、正解の行動を知っているわけではありません。採点を手がかりに方策を直すのはActor自身です。
「第3の独立した流派」ではない — Actor-Criticは価値関数ベースと方策勾配ベースの「組み合わせ」であり、両者と並ぶまったく別のアプローチではありません。
REINFORCEとの違い — REINFORCEはCriticを持たず、エピソード終了後の累積報酬だけで更新します。Actor-CriticはCriticの評価を使って逐次更新できる点が異なります。
Q学習との違い — Q学習は方策を明示的には持たず、Q値から間接的に行動を選びます。Actor-CriticはActorが方策そのものを直接学習します。

📝 試験でのポイント