【G検定】DQNとは？経験再生とターゲットネットワークの2大工夫を徹底解説

「ゲーム画面を見ただけで、人間並みにゲームをプレイするAI」──深層強化学習ブームの火付け役となったのがDQN（Deep Q-Network）です。Q学習とディープラーニングの結婚、そしてそれを安定させた「経験再生」と「ターゲットネットワーク」という2大工夫を、順を追って理解しましょう。

📖 ひと言でいうと

DQNとは、強化学習の代表的手法であるQ学習の価値関数（Q値）を、ニューラルネットワークで近似したアルゴリズムです。状態が多すぎてQテーブルでは扱えない問題を解決し、Atariゲームのような高次元入力のタスクで高い性能を示して、深層強化学習の時代を切り開きました。

例えるなら、行動の良し悪しを全部書き出した「巨大な虎の巻（Qテーブル）」を丸暗記する代わりに、「状況を見れば良い手を推定できる直感（ニューラルネットワーク）」を鍛えるアプローチです。虎の巻は状況の数だけページが要りますが、直感なら初めて見る状況にも対応できます。

🖼 1枚でわかるDQN

📘 公式テキストの説明

Deep Q-Network（DQN）は、Q学習（Q-Learning）とディープラーニングを組み合わせたアルゴリズムで、従来のQ学習が抱えていた問題を解決するために開発された。Q学習は、エージェントが環境内で最適な行動を選択するための価値関数を学習する手法である。しかし、状態や行動の数が増加すると、Qテーブルのサイズが膨大になり、計算資源の制約から実用的でなくなる。この問題に対処するため、DQNではニューラルネットワークを用いてQ値を近似し、連続的な状態や行動空間にも対応可能とした。DQNの学習プロセスでは、エージェントが環境内で行動し、得られた経験を「リプレイメモリ」に蓄積する。このリプレイメモリからランダムにサンプリングしたデータを用いてニューラルネットワークを訓練する手法は「Experience Replay」と呼ばれ、データの相関性を低減し、学習の安定性を向上させる効果がある。また、学習中のターゲット値の変動を抑えるために、一定の間隔で固定されたターゲットネットワークを使用する「Fixed Target Q-Network」という手法も採用されている。DQNは、Atariゲームなどの高次元な入力を持つタスクにおいても高い性能を示し、深層強化学習の分野で大きな進展をもたらした。しかし、学習の安定性や効率性の向上を目指し、Double DQNやDueling DQNなど、DQNを改良した手法も提案されている。

この説明は「課題→解決→安定化の工夫→成果と発展」の4段構成です。①Qテーブルの爆発という課題、②ニューラルネットワークによるQ値の近似という解決、③Experience Replay（経験再生）とFixed Target Q-Network（ターゲットネットワーク）という2つの安定化の工夫、④Atariでの成功とDouble DQN等への発展。この流れをそのまま試験知識として使えます。

🔍 しっかり理解する

Q学習の限界──Qテーブルの爆発

Q学習は、「状態sで行動aを取ったときの将来の価値」を表すQ値を学習し、各状態でQ値が最大の行動を選べるようにする手法です。古典的なQ学習では、このQ値を「状態×行動」の表（Qテーブル）に書き込んで更新します。迷路のような小さい問題なら表で十分ですが、ゲーム画面のように状態が画像で与えられると、あり得る状態の数は天文学的になり、表のサイズが膨大になって計算資源の制約から実用的でなくなります。

DQNの答えはシンプルで、「表を引く」のをやめて「関数で推定する」ことでした。画面（状態）を入力すると各行動のQ値を出力するニューラルネットワークを学習させれば、似た状態には似たQ値を返す汎化が働き、見たことのない状態にも対応できます。

工夫1: 経験再生（Experience Replay）

ただし、Q学習とニューラルネットワークを素朴に組み合わせると学習が不安定になります。第一の原因は、データの相関です。エージェントの経験は時間的に連続しており、直前の場面と今の場面はよく似ています。似たデータばかり続けて学習すると、ネットワークが直近の状況に引きずられて偏ってしまうのです。

そこでDQNは、経験（状態・行動・報酬・次の状態）をいったんリプレイメモリに蓄積し、そこからランダムにサンプリングして学習します。これがExperience Replay（経験再生）です。時間順のつながりがシャッフルで断ち切られ、データの相関性が低減し、学習が安定します。同じ経験を繰り返し学習に使えるためデータ効率が上がる点も利点です。

工夫2: ターゲットネットワーク（Fixed Target Q-Network)

第二の原因は、目標値が動いてしまうことです。Q学習の更新では「次の状態のQ値」から計算した目標値（ターゲット）に近づくようにネットワークを更新します。ところが、その目標値を計算するのも自分自身のネットワークなので、更新するたびに目標も動く──「動く的を追いかける」状態になり、学習が発散しやすくなります。

DQNは、目標値の計算専用に、一定の間隔でのみ更新される固定されたターゲットネットワークを別に用意しました。これがFixed Target Q-Networkです。的をしばらく固定してから、まとめて最新の位置に動かすことで、ターゲット値の変動が抑えられ、学習が安定します。

💡 具体例で考える

DQNを有名にしたのが、DeepMind社によるAtariゲームでの実証です。エージェントに与えられるのはゲーム画面（ピクセル）とスコアだけで、ルールの説明は一切ありません。それでもDQNは、ブロック崩しなど多数のゲームで人間のプレイヤーに匹敵する、あるいは上回るスコアを達成しました。ゲームごとに特徴量を人間が設計するのではなく、同じ仕組みのまま多様なゲームを学べたことが衝撃的で、深層強化学習という分野が大きく進展するきっかけになりました。

ブロック崩しの例では、学習が進んだDQNが「端にトンネルを掘ってボールを天井裏に送り込む」という、人間の上級者が使う戦略に相当するプレイを見せたことが知られています。人間が戦略を教え込んだのではなく、スコアという報酬から価値の高い行動を学習した結果である点が、この手法の可能性を象徴しています。

⚠️ よくある誤解・紛らわしい用語

📝 試験でのポイント

📚 まとめ