5人対5人で戦う複雑なオンラインゲーム『Dota 2』で、世界大会の優勝チームに勝利したAI——それがOpenAI Fiveです。囲碁やチェスとは次元の違う複雑さを持つゲームを深層強化学習で攻略した事例として、G検定の「深層強化学習」の応用例で登場します。
📖 ひと言でいうと
OpenAI Fiveとは、OpenAIが開発した、対戦型オンラインゲーム『Dota 2』を5体のAIがチームとしてプレイするAIシステムです。膨大な自己対戦(セルフプレイ)による深層強化学習で、人間のトップチームに勝つレベルの戦略とチームプレイを身につけました。
身近な例でいえば、「教科書のない競技を、練習相手を務める自分の分身と何度も試合をして強くなっていく」イメージです。人間が戦略を教え込むのではなく、勝ちにつながる行動に報酬を与えて、AI自身に膨大な試行錯誤をさせた点が核心です。
🖼 1枚でわかるOpenAI Five
📘 公式テキストの説明
非営利の人工知能研究機関であるOpenAIが開発したAIシステムで、マルチプレイヤオンラインバトルアリーナ（MOBA）ゲーム『Dota 2』をプレイする能力を持つ。このシステムは、深層強化学習の手法を用いて、5人のプレイヤが協力して戦う複雑なゲーム環境での意思決定と戦略を学習した。2017年、OpenAIは『Dota 2』のプロプレイヤであるDendiとの1対1の対戦でAIの能力を初めて披露し、Dendiは敗北した。その後、OpenAI Fiveは5人チームとしてのプレイ能力を獲得し、2018年にはアマチュアやセミプロのチームとの対戦で勝利を収めた。2019年4月には、世界大会「The International 2018」の優勝チームであるOGとの3本勝負で勝利し、AIの進化を示した。OpenAI Fiveの学習プロセスは、数ヶ月にわたり1日に数百回も自身と対戦することで進められ、敵を倒す、タワーを破壊するなどの行動に対して報酬が与えられる強化学習の手法が用いられた。このアプローチにより、AIは複雑な戦略やチームプレイを効果的に学習した。OpenAI Fiveの成功は、深層強化学習の可能性を示すものであり、ゲームAIの分野だけでなく、現実世界の複雑な問題解決への応用も期待されている。例えば、OpenAIはこの技術を物理的なロボットハンドの制御に応用し、複雑なタスクの処理能力を向上させる研究を進めている。
ポイントは3つです。まず「OpenAIが開発し、『Dota 2』をプレイする」という開発元とゲーム名の組み合わせ。次に、2017年の1対1披露から2019年の世界王者OG撃破へと段階的に進化した歴史。そして、学習の中身が「自己対戦+報酬」というシンプルな強化学習の枠組みだったことです。
🔍 しっかり理解する
なぜ『Dota 2』は囲碁より「難しい」のか
囲碁を制したAlphaGoのニュースの後に、なぜわざわざゲームAIの研究が続いたのでしょうか。それは『Dota 2』のようなMOBAゲームが、ボードゲームにはない難しさを持つからです。
- 不完全情報 — マップの大部分は視界外で、相手の動きが見えません(囲碁は盤面がすべて見える完全情報ゲーム)。
- リアルタイム性 — 交互に着手するのではなく、刻一刻と状況が変わる中で連続的に判断し続ける必要があります。
- 長い時間軸 — 1試合が数十分に及び、序盤の判断が終盤の勝敗に影響します。行動と報酬の間が遠い「報酬の遅延」が深刻です。
- チームプレイ — 5体のエージェントが協調する必要があり、単独の最適行動だけでは勝てません。
こうした条件は、現実世界の意思決定(交通、物流、交渉など)に近い性質です。だからこそOpenAI Fiveの成功は「ゲームがうまいAI」以上の意味を持ちました。
学習の流れ——自己対戦と報酬設計
自己対戦(セルフプレイ)は、AlphaGoでも使われた「常に自分と同レベルの練習相手が確保できる」学習法です。OpenAI Fiveはこれを大規模な計算資源で数か月続け、人間の対戦データに頼らずに高度な戦略へ到達しました。なお、この学習を支えた方策更新アルゴリズムには、同じくOpenAIが開発した方策勾配法のPPO(Proximal Policy Optimization)が使われています。PPOはシラバスの別キーワードでもあるので、セットで押さえると効率的です。
ゲームの外への波及——ロボットハンド
公式テキストの末尾にある「ロボットハンドへの応用」も重要です。OpenAIは、OpenAI Fiveと同系統の大規模強化学習の仕組みを、シミュレーション内で訓練したロボットハンドによる物体操作の研究に転用しました。ゲームで培った「大規模な試行錯誤で複雑なタスクを解く」枠組みが、現実世界の制御問題にも通用することを示した例です。
💡 具体例で考える
2019年4月、世界王者OGとの対戦
OpenAI Fiveの集大成が、2019年4月に行われた世界大会「The International 2018」優勝チームOGとの公開対戦です。世界最高峰の人間チームを相手に、OpenAI Fiveは勝利を収めました。1年前の2018年時点ではアマチュアやセミプロに勝つ段階だったことを考えると、自己対戦による学習の伸びの速さがわかります。人間側の解説者を驚かせたのは、序盤から強気にリスクを取って優位を積み上げる、人間の定石とは異なるプレイスタイルでした。
1対1のDendi戦(2017年)との違い
2017年の初披露は、プロプレイヤDendiとの「1対1」の対戦でした。1対1は操作するキャラクターが1体で、チーム協調が不要な比較的単純な設定です。そこから2年で「5人チーム戦で世界王者に勝つ」まで到達した段階的な進化の流れは、試験でも年表の形で問われやすいポイントです。
⚠️ よくある誤解・紛らわしい用語
- AlphaStar(アルファスター)との混同 — AlphaStarはDeepMindが開発し『StarCraft II』をプレイするAIです。「OpenAI=Dota 2」「DeepMind=StarCraft II」の組み合わせを入れ替えた誤答選択肢が典型なので注意しましょう。
- AlphaGoとの違い — AlphaGoは完全情報の交互着手ゲーム(囲碁)が対象です。OpenAI Fiveは不完全情報・リアルタイム・チーム戦という、より現実に近い複雑さへの挑戦でした。
- 人間の棋譜データで学んだわけではない — OpenAI Fiveの学習の主軸は自己対戦による強化学習です。人間のプレイデータの模倣が中心だったという説明は不正確です。
- 「5」の意味 — 名前のFiveは5人チームでプレイすることに由来します。バージョン番号ではありません。
📝 試験でのポイント
- 「OpenAIが開発」「Dota 2(MOBA)」「深層強化学習」「自己対戦」の4点セットで正解選択肢を見分けられます。
- 開発元をDeepMindに、ゲームをStarCraft IIに入れ替えた選択肢は誤りです。AlphaStarとの対応関係を整理しておきましょう。
- 「2019年に世界大会優勝チーム(OG)に勝利した」という実績が問われることがあります。
- 応用面では「ロボットハンド制御への技術転用」が公式テキストで言及されており、深層強化学習の現実応用の文脈で出題される可能性があります。
📚 まとめ
- OpenAI Fiveは、OpenAIが開発した『Dota 2』をプレイするAIシステムで、5体のエージェントがチームとして戦います。
- 学習の核は大規模な自己対戦と報酬による深層強化学習で、方策更新にはPPOが使われました。
- 2017年の1対1披露から進化を続け、2019年4月には世界大会優勝チームOGに勝利しました。
- 不完全情報・リアルタイム・チーム戦という複雑な環境の攻略は、ゲームを超えた現実問題(ロボット制御など)への応用可能性を示しています。
