強化学習の教科書がQ学習や方策勾配法を語れるのは、その前提として問題を数学の土俵に載せる「型」があるからです。それがマルコフ決定過程(MDP)です。この記事では、鍵となる「マルコフ性」の意味から、MDPが強化学習をどう定式化するのかまでを解説します。
📖 ひと言でいうと
マルコフ決定過程とは、「次に何が起こるかは、いまの状態(と行動)だけで決まり、そこに至るまでの経緯には依存しない」というマルコフ性を仮定して、強化学習の問題を状態・行動・報酬・状態遷移確率の組み合わせで数学的に表したモデルです。すごろくに例えると、「次にどのマスへ進めるか」は今いるマスとサイコロの出目だけで決まり、「これまでどんな経路でここまで来たか」は一切関係ない——この性質を前提に問題全体を定式化したものがMDPです。
🖼 1枚でわかるマルコフ決定過程
📘 公式テキストの説明
マルコフ性とは確率論における確率過程が持つ特性の一種であり、環境に対して暗黙的にある仮定を置くことで、「現在の状態から将来の状態に遷移する確率は、現在の状態にのみ依存し、それより過去のいかなる状態にも一切依存しない」という性質。強化学習において、状態遷移にマルコフ性を仮定したモデルをマルコフ決定過程モデルという。エージェントは環境と相互作用し、行動を選択し、報酬を受け取りながら学習を行う。この過程で、マルコフ決定過程モデルは状態、行動、報酬、および状態遷移確率に関する情報を組み合わせて、エージェントが環境の中で最適な方策を見つける手助けをする。マルコフ決定過程モデルは、状態遷移の不確かさや報酬の期待値を考慮して、問題を数学的に定式化し、解決することができる。これにより、エージェントは最終的な報酬を最大化するような方策を獲得する。
構造は2段階です。まず「マルコフ性」という性質の定義があり(遷移確率は現在の状態のみに依存)、次に「その性質を状態遷移に仮定した強化学習のモデル」としてマルコフ決定過程が定義されます。試験ではこの2段構えのまま、マルコフ性の定義文とMDPの定義文がそれぞれ問われます。
🔍 しっかり理解する
マルコフ性 — 「過去は現在に折りたたまれている」
マルコフ性は「過去を無視する乱暴な仮定」に見えるかもしれませんが、正確には「意思決定に必要な過去の情報は、すべて現在の状態に集約されている」という仮定です。将棋なら、いまの盤面(と手番)さえ分かれば、そこからの最善手を考えるのに「どんな手順でこの盤面になったか」を知る必要はありません。盤面という状態が過去の情報を十分に含んでいるからです。この仮定を置くと、「過去の履歴すべて」を扱わずに「現在の状態」だけを見ればよくなり、問題が劇的に扱いやすくなります。
MDPの構成要素と相互作用のループ
MDPは、状態・行動・報酬・状態遷移確率という部品で強化学習の世界を記述します。エージェントと環境のやり取りは次のループになります。
ここで重要なのは、環境の応答(次状態への遷移)が確率的でよいことです。同じ状態で同じ行動をしても、行き先は状態遷移確率に従ってばらつき得ます。MDPはこの「遷移の不確かさ」と「報酬の期待値」を織り込んだうえで、問題を数学的に定式化します。
なぜ定式化がありがたいのか
問題がMDPの形に載ると、「累積報酬を最大化する方策を求めよ」という目標が数学の最適化問題として明確になります。状態価値関数や行動価値関数が満たすべき関係式(ベルマン方程式)を書き下せるのはマルコフ性のおかげで、Q学習をはじめとする強化学習アルゴリズムの理論的な土台はここにあります。つまりMDPは、個々の手法の1つではなく、Q学習も方策勾配法もその上で動く「共通の舞台」なのです。
💡 具体例で考える
ロボット掃除機を例にMDPの部品を当てはめてみましょう。状態=部屋のどの位置にいてバッテリー残量がいくらか、行動=前進・回転・充電台へ戻る、報酬=ゴミを吸えば+1、バッテリー切れで立ち往生したら-10、状態遷移確率=前進を指示しても床の滑りで少しずれた位置に着くことがある、という具合です。「次にどこへ行き着くか」は現在の位置と選んだ行動で決まり、「10分前にどの部屋にいたか」は関係ない——マルコフ性が成り立つ設定であり、この定式化の上で掃除効率を最大化する方策を学習できます。
一方、対戦相手の手札が見えないポーカーでは、テーブルに見えている情報だけでは状況を語り尽くせず、相手の過去の賭け方の癖という履歴情報が意思決定に効いてきます。このように「現在の観測だけでは状態を語り尽くせない」問題は素朴なMDPの仮定からはみ出しており、マルコフ性が成り立つ問題との対比としてイメージしておくと理解が深まります。
⚠️ よくある誤解・紛らわしい用語
- 「マルコフ性=未来が決まっている」は誤り — マルコフ性は遷移が確率的であることを排除しません。「遷移確率が現在の状態のみで決まる」のであって、「次の状態が一意に決まる」のではありません。
- 「過去を捨てる」のではない — 意思決定に必要な過去の情報が現在の状態に集約されている、という仮定です。状態の設計が悪く情報が足りなければ、マルコフ性は成り立たなくなります。
- マルコフ過程との違い — 行動の選択と報酬を含まない、状態遷移だけの確率過程はマルコフ過程です。そこに「エージェントの行動(決定)」と「報酬」を加えたものがマルコフ決定過程です。「決定」の一語が行動選択を表しています。
- 現実の問題が常にMDPとは限らない — 部分的にしか状態を観測できない問題(相手の手札が見えないゲームなど)は、素朴なMDPの仮定を満たしません。MDPはあくまで「仮定を置いたモデル」です。
📝 試験でのポイント
- 「現在の状態から将来の状態に遷移する確率は、現在の状態にのみ依存し、過去のいかなる状態にも依存しない」というマルコフ性の定義文は、そのまま正誤判定や穴埋めで問われる最重要フレーズです。
- 「状態遷移にマルコフ性を仮定したモデル=マルコフ決定過程」という2段構えの定義の対応付けが問われます。
- MDPが組み合わせる情報(状態・行動・報酬・状態遷移確率)の4点セットを選ばせる問題が想定されます。
- 「問題を数学的に定式化し、報酬を最大化する方策の獲得を助ける」というMDPの役割・目的の理解も問われ得ます。
📚 まとめ
マルコフ決定過程(MDP)は、「遷移確率は現在の状態のみに依存する」というマルコフ性を状態遷移に仮定し、強化学習の問題を状態・行動・報酬・状態遷移確率で数学的に定式化したモデルです。この定式化があるからこそ、エージェントは遷移の不確かさと報酬の期待値を織り込んで、累積報酬を最大化する方策を理論的に追求できます。マルコフ性の定義文とMDPの構成要素4点、そして「強化学習の共通の舞台」という位置づけを押さえておきましょう。
