【G検定】AlphaGo(アルファ碁）

AlphaGo(アルファ碁）

オセロ	1997年に人工知能が人間のチャンピオンに勝利 ⇨IBM の Deep Blue が世界チャンピオンの Garry Kasparov をオセロの 6 試合で破った
チェス	1997年に人工知能が人間のチャンピオンに勝利 ⇨IBM の Deep Blue が当時のチェスの世界チャンピオンである Garry Kasparov を破った
将棋	人間のレベルを超えたのは2015年
囲碁	2015年時点でコンピュータの実力は人間のアマチュア6、7段程度。世界チャンピオンに勝つにはさらに10年はかかると思われていたが、2016年3月9日に人工知能の囲碁プログラムAlphaGoが人間のチャンピオンに勝ち越した。

AlphaGo(アルファ碁）とは

AlphaGo (アルファ碁、アルファゴ) は、Google DeepMind によって開発されたコンピューターの囲碁プログラムです。2015 年 10 月、AlphaGo はヨーロッパ チャンピオンの樊暉を 5 対 0 で破り、プロの囲碁棋士をハンディキャップなしで破った最初のコンピューター プログラムになりました。AlphaGo はその後、2016 年 3 月に世界チャンピオンのイ・セドル九段に挑戦し、4 対 1 で勝利しました。

AlphaGoは、これまで珍しいとされていた必殺技の使用や小さな目からのダブルショルダーヒットなど、囲碁界を驚かせた技を生み出してきました。これらの動きは世界中のプロのプレーヤーに採用され、囲碁のプレイ方法に革命をもたらしました。プロの人間の囲碁選手を打ち負かした最初のコンピューター プログラムになったり、囲碁の世界チャンピオンを打ち負かした最初のコンピューター プログラムになるなど、いくつかのマイルストーンを達成しました。2017 年には、AlphaGo チームはAI の優れた業績に対して初の IJCAI マービン ミンスキー メダルを受賞しました。

AlphaGoの特徴

AlphaGo の主な機能には次のようなものがあります。

モンテカルロ ツリー検索 (MCTS) アルゴリズム: AlphaGo はモンテカルロ ツリー検索アルゴリズムを使用して、潜在的な動きを評価し、最適な動きを選択します。MCTS アルゴリズムは、何千ものランダムなプレイアウトをシミュレートして、特定のポジションから勝つ確率を推定します。

ディープ ニューラル ネットワーク: AlphaGo はディープ ニューラル ネットワークを使用してボードの位置を評価し、動きを予測します。ニューラル ネットワークは、囲碁のパターンと戦略を学習するために、熟練したヒューマン ゲームの大規模なデータセットでトレーニングされました。

強化学習: AlphaGo は強化学習を使用します。強化学習は、エージェントがその行動に対して報酬またはペナルティを受け取ることによって意思決定を行うことを学習する一種の機械学習です。AlphaGo は、自分自身と何千ものゲームをプレイし、徐々にパフォーマンスを向上させることで囲碁を学ぶことを学びました。

転移学習: AlphaGo の 2 番目のバージョンである AlphaGo Zero は、転移学習を使用してパフォーマンスを向上させました。転移学習を使用すると、あるタスクでトレーニングされたモデルを別のタスクに合わせて微調整できます。この場合、モデルは、他のゲームから学んだ知識を使用して囲碁をプレイするように微調整されました。

AlphaGoの進化系

AlphaGo Zero

2017年10月に発表されたAlphaGoの発展系です。

人間の棋譜による教師あり学習は一切行わず自己対戦によるデータのみで深層強化学習を行なっており、プロの棋譜を使わずゼロからの自己対戦のみにも関わらず、AlpaGoを上回る強さとなりました。5000台のTPUを使用して学習されています。

1. 強化学習: AlphaGo Zero は強化学習を使用します。強化学習は、AI エージェントが環境との対話を通じて試行錯誤によって学習する一種の機械学習です。
2. セルフプレイ: AlphaGo Zero は、セルフプレイを通じて自分自身をトレーニングします。つまり、自分自身と対戦してゲーム戦略を学び、改善します。
3. モンテカルロ木探索: AlphaGo Zero はモンテカルロ木探索 (MCTS) を使用します。MCTS は確率的探索アルゴリズムであり、将来の多くの可能なゲーム シナリオをシミュレートして動きを評価します。

Alpha Zero

2018年に発表されたAlpha Goの完成形のゲームAIです。自己対戦のみで囲碁だけでなく、将棋やチェスでもトッププレイヤーを圧倒する性能に到達しています。AlphaZero のチェスへのアプローチは独特であり、強化学習とセルフプレイを使用しているため、他の AI プログラムとは一線を画しています。

AlphaZero の主な機能には次のようなものがあります。

1. 強化学習: AlphaZero は、強化学習とモンテカルロ木探索の組み合わせを使用してゲームをプレイし、良い動きには報酬を、悪い動きには罰を与えることに基づいて決定を下します。
2. セルフプレイ: AlphaZero は、自分自身と対戦することで自分自身をトレーニングし、進行するにつれて継続的に改善します。これは、プレイするゲームのルールやゲームに関する外部情報についての事前知識を必要としないことを意味します。
3. 一般化: AlphaZero は、プレイするゲームの理解を新しい状況に一般化することができます。これは、その学習をさまざまな開始位置やルールのバリエーションに適用しても、うまく機能することを意味します。
4. マルチゲーム機能: AlphaZero は、1 回のトレーニング プロセスで複数のゲームをプレイできるため、非常に用途の広い AI プログラムになります。
5. 優れたパフォーマンス: AlphaZero は、チェス、将棋、囲碁などの複数のゲームで超人レベルのパフォーマンスを達成し、これらのゲームで最高のコンピューター プログラムと人間のチャンピオンを打ち負かしました。

AlphaStar

2019年1月に公開されたビデオゲームStarCraftIIをプレイするコンピュータープログラムです。人工知能の重要なマイルストーンとして、2019年8月にグランドマスターのステータスを獲得しています。

AlphaStar は、次のような高度な機能と機能で有名です。

1. マルチエージェント強化学習: AlphaStar は強化学習を使用して複数の AI エージェントをトレーニングし、同時にゲームをプレイできるようにすることで、自身の経験や他のエージェントから学習できるようにします。
2. 模倣学習: AlphaStar は、模倣学習を使用して人間のプレイヤーから学習します。これにより、より高度な戦略と戦術を理解することができます。
3. 階層強化学習: AlphaStar は階層強化学習アーキテクチャを使用して、ゲームの複雑さを簡素化し、重要な決定に集中します。
4. 高度なマイクロおよびマクロ コントロール: AlphaStar は、高度なマイクロおよびマクロを実行するように訓練されています。