DQNの登場以来、深層強化学習はAtariのゲームを次々と攻略してきましたが、報酬がなかなか得られない一部のゲームだけはずっと苦手なままでした。その「最後の壁」を越え、Atari 2600の57ゲームすべてで人間のスコアを上回った最初のエージェントがAgent57です。
📖 ひと言でいうと
Agent57とは、DeepMind社が開発した深層強化学習エージェントで、ベンチマークとして使われるAtari 2600の57種類のゲームすべてにおいて、人間のスコアを初めて上回った手法です。鍵は、未知の状態の探索を促す「内部報酬」と、探索の度合いを状況に応じて切り替える「メタコントローラー」にあります。
例えるなら、全科目制覇を目指す受験生です。得意科目だけ点を伸ばしても「全科目で合格点」には届きません。Agent57は、苦手科目（報酬が得られにくいゲーム）への取り組み方を工夫することで、「57科目すべてで人間超え」という全教科制覇を初めて成し遂げたのです。
🖼 1枚でわかるAgent57
📘 公式テキストの説明
DeepMind社が開発したエージェントであり、Atari 2600の57種類のゲームすべてにおいて人間のスコアを上回る成果を初めて達成した。従来の強化学習手法では、特に報酬が得られにくいゲームにおいて学習が困難であったが、Agent57はこれを克服している。Agent57の特徴的な点は、探索と搾取のバランスを動的に調整する能力にある。具体的には、内部報酬（intrinsic reward）を導入し、エージェントが未知の状態を積極的に探索するよう促している。この内部報酬は、エピソード内で同じ状態を再訪しないように設計されており、エージェントが新しい状態を探索する動機付けとなっている。さらに、Agent57は「メタコントローラー」と呼ばれる機構を備えており、学習の進行状況に応じて探索率（β値）を適切に選択する。これにより、学習の初期段階では高い探索率を設定し、学習が進むにつれて探索率を低減させることで、効率的な学習を実現している。また、行動価値関数（Q関数）を外部報酬と内部報酬で分離して学習するアーキテクチャを採用しており、報酬の性質が異なる場合でも安定した学習が可能となっている。これらの工夫により、Agent57は多様なゲーム環境に適応し、高い性能を示している。
要点は「なぜ57ゲーム全部で勝てたのか」です。従来手法がつまずいたのは、スコア（外部報酬）がめったに入らないゲームでした。Agent57は、①探索そのものに報酬を与える内部報酬、②探索の強さを状況に応じて選ぶメタコントローラー、③性質の異なる2種類の報酬を分離して学ぶQ関数、という3つの工夫でこの弱点を克服しました。
🔍 しっかり理解する
「報酬が得られにくいゲーム」がなぜ難しいのか
強化学習は「行動→報酬→改善」のループで学びます。ところが、複雑な手順を長くこなさないと最初のスコアが入らないゲームでは、ランダムに動き回る学習初期のエージェントはほとんど報酬に出会えません。報酬ゼロの経験ばかりでは「どの行動が良いか」の手がかりが得られず、学習が進まないのです。DQN以降の多くの手法が57ゲーム中の大半を攻略しても、この種の「探索が難しいゲーム」が残り続けました。
内部報酬──「新しい発見」自体をご褒美にする
Agent57の第一の工夫は、環境から与えられるスコア（外部報酬）とは別に、エージェント自身が生み出す内部報酬（intrinsic reward）を導入したことです。内部報酬は「未知の状態に到達したこと」自体へのご褒美として働き、エピソード内で同じ状態を再訪しないように設計されています。これにより、外部報酬がゼロの期間でも「新しい場所を見に行こう」という動機が保たれ、いつか本物の報酬にたどり着くための探索が続けられます。好奇心を報酬として数式化した仕組み、と捉えると分かりやすいでしょう。
メタコントローラーとQ関数の分離
探索は諸刃の剣です。探索が強すぎると点を稼ぐ行動（搾取）がおろそかになり、弱すぎると未知の可能性を見逃します。Agent57はメタコントローラーという機構で、学習の進行状況に応じて探索率（β値）を適切に選択します。学習初期は高い探索率で広く経験を集め、学習が進むにつれて探索率を下げて得点行動に集中する、という動的なバランス調整です。
さらに、行動価値関数（Q関数）を外部報酬用と内部報酬用に分離して学習するアーキテクチャを採用しています。「ゲームのスコア」と「新規性へのご褒美」は性質の異なる報酬なので、1つの関数で混ぜて学ぶと不安定になりがちです。分けて学習することで、報酬の性質が異なっても安定した学習ができます。
💡 具体例で考える
Atariベンチマークの中でも有名な難関が「Montezuma's Revenge」のような探索型ゲームです。鍵を取り、扉を開け、部屋を渡り歩くという長い手順を正しくこなして初めて得点が入るため、報酬を頼りに学ぶ従来手法はほぼ手も足も出ませんでした。一方で、弾を撃てばすぐ点が入るシューティングのようなゲームは早くから人間超えが達成されていました。つまり「平均点は高いのに苦手科目が残る」状態が長く続いていたのです。Agent57は、内部報酬による探索とメタコントローラーによる切り替えで、この探索型ゲームも含めた57ゲーム全でのクリアを達成しました。
この「全ゲーム制覇」には、単一の仕組みを多様な環境に適応させられることを示した意義があります。ゲームごとに専用チューニングをした57個のAIではなく、探索と搾取のバランスを自動調整するひとつの枠組みで幅広いタスクに対応した点が、汎用性の観点から高く評価されています。
⚠️ よくある誤解・紛らわしい用語
- 「57」の意味 — Agent57の57は、ベンチマークに使われるAtari 2600のゲーム数（57種類）に由来します。バージョン番号や改良回数ではありません。
- 内部報酬と外部報酬 — 外部報酬は環境（ゲーム）が与えるスコア、内部報酬はエージェント自身が未知の状態の探索に対して生成するご褒美です。Agent57はこの2つを別々のQ関数で学習します。「報酬はすべて環境から与えられる」とする記述は誤りです。
- DQNとの関係 — DQNは深層強化学習の出発点で、Atariの多くのゲームで高性能を示しましたが、全57ゲームでの人間超えは未達成でした。「全ゲームで人間を超えた最初の手法」という称号はAgent57のものです。
- 探索と搾取 — 探索（新しい行動を試す）と搾取（今知っている最善の行動で稼ぐ）のトレードオフは強化学習の基本概念です。Agent57の新しさは、このバランスをメタコントローラーで動的に調整した点にあります。
📝 試験でのポイント
- 「DeepMind社が開発」「Atari 2600の57ゲームすべてで人間のスコアを初めて上回った」という定義がそのまま出題の軸になります。
- 内部報酬（intrinsic reward）の目的＝未知の状態の探索の動機づけ、を問う正誤問題が想定されます。
- メタコントローラーの役割＝学習の進行状況に応じた探索率（β値）の選択、という対応を押さえましょう。
- 「探索と搾取のバランスを動的に調整する」という表現はAgent57の特徴を表す正しい記述として扱われます。
📚 まとめ
- Agent57はDeepMind社のエージェントで、Atari 2600全57ゲームで人間スコア超えを初めて達成しました。
- 従来手法の弱点だった「報酬が得られにくいゲーム」を、探索を動機づける内部報酬で克服しました。
- メタコントローラーが学習の進行に応じて探索率（β値）を選び、探索と搾取のバランスを動的に調整します。
- 外部報酬と内部報酬でQ関数を分離して学習することで、性質の異なる報酬の下でも安定した学習を実現しています。
