「いつもの店にするか、新しい店を試すか」——強化学習のエージェントも同じ悩みを抱えています。ε-greedy方策は、この迷いをたった1つの確率εで解決するシンプルで強力なルールです。この記事で「探索と活用」の考え方ごと理解してしまいましょう。
📖 ひと言でいうと
ε-greedy方策とは、確率εでランダムに行動を試し(探索)、残りの確率1-εで現時点の最良の行動を選ぶ(活用)という行動選択のルールです。ランチ選びに例えると、「10回に9回はお気に入りの店に行くが、10回に1回はサイコロを振って新しい店に入ってみる」ようなものです。お気に入りだけに通っていると、もっとおいしい店を一生見逃すかもしれない——その取りこぼしを防ぐ仕組みです。
🖼 1枚でわかるε-greedy方策
📘 公式テキストの説明
Q学習で用いられるアプローチで、探索と活用のバランスを取りながら累積報酬の最大化を目指す。探索では行動をランダムに選択し、活用では報酬平均が最高な行動を選択する。ε（イプシロン）はハイパーパラメータで、小さい値だと既知の情報を活用する確率が高く、大きい値だとランダムな探索が頻繁に行われる。この戦略の目的は最適な行動を確実に発見することであり、探索と活用のバランスが重要となる。
ポイントは「探索=ランダムに試す」「活用=今いちばん良いとわかっている行動を選ぶ」という2つのモードを、確率εで切り替えることです。εは人間が事前に決めるハイパーパラメータで、ε=0.1なら10%の確率で探索、90%の確率で活用になります。εの大小と探索・活用の対応関係(小さい=活用寄り、大きい=探索寄り)は試験で問われやすいので、向きを間違えないようにしましょう。
🔍 しっかり理解する
探索と活用のジレンマ
強化学習のエージェントは、試してみるまで各行動の本当の価値を知りません。今まででいちばん良かった行動だけを選び続ける(活用一辺倒)と、まだ試していない行動の中に隠れたもっと良い選択肢を永遠に見逃す恐れがあります。逆にランダムに試してばかり(探索一辺倒)では、せっかく見つけた良い行動から報酬を稼げません。この板挟みを「探索と活用のジレンマ(トレードオフ)」と呼び、ε-greedy方策はその最もシンプルな解決策です。
行動選択の流れ
greedy(貪欲)とは「目先の最良を選ぶ」という意味で、活用モードの選び方そのものを指します。ε-greedyは「基本はgreedyだが、確率εだけ例外的に冒険する」と読める名前になっています。
両極端を考えるとεの意味がよくわかる
εの役割は、両極端の値を想像すると腑に落ちます。ε=0にすると探索が一切行われない純粋なgreedy方策になり、学習初期のあてにならない評価のまま「暫定1位」の行動に固執してしまいます。逆にε=1にすると全行動が常にランダムに選ばれ、せっかく学んだ評価をまったく活かせません。実用的なεはこの中間(例えば0.1前後)に置かれ、「基本は手堅く稼ぎつつ、一定の割合で情報収集を続ける」という妥協点を実現します。
εの決め方と「ε減衰」
εを大きくすれば情報は早く集まりますが報酬を取りこぼし、小さくすれば手堅い反面、良い行動の発見が遅れます。そこで実務でよく使われるのが、学習初期はεを大きくして広く探索し、学習が進むにつれてεを小さくして活用に寄せていく「ε減衰(アニーリング)」という運用です。序盤は何も知らないので冒険の価値が高く、終盤は評価が固まっているので活用に徹するべき、という直感をそのまま実装したものです。ディープラーニングと組み合わせたDQNの学習でも、εを徐々に小さくしていく設定が採用されました。
💡 具体例で考える
ニュースアプリのおすすめ記事の配信を考えます。クリック率が最も高いとわかっているジャンルばかり表示する(活用)と、ユーザーがまだ出会っていない意外なジャンルの好みを発見できません。そこで配信の一部(確率ε)をあえてランダムなジャンルに割り当てると、新しい好みの発見(探索)と現在の満足度(活用)を両立できます。これはまさにバンディット問題へのε-greedy方策の適用です。
もう1つは迷路を解くQ学習のエージェントです。学習初期のQ値はあてにならないため、greedy一辺倒だと最初にたまたま見つけた遠回りの経路に固執してしまいます。確率εでランダムな方向にも進むことで、近道の存在に気づくチャンスが生まれ、「最適な行動を確実に発見する」という目的に近づけます。
⚠️ よくある誤解・紛らわしい用語
- 「εが大きい=活用が増える」は逆 — εは探索(ランダム選択)の確率です。εが大きいほど探索が増え、小さいほど既知の情報の活用が増えます。
- ε-greedy方策は学習アルゴリズムそのものではない — Q学習が「価値の更新方法」であるのに対し、ε-greedyは「行動の選び方(方策)」です。Q学習の中の行動選択部品として組み合わせて使われます。
- UCB方策との違い — ε-greedyの探索は完全ランダムで、どの行動を試すかに根拠がありません。UCB方策は「試行回数が少なく不確かな行動」を優先して探索する点で、より計画的です。
- greedy方策(ε=0)との違い — 常に最良の行動だけを選ぶ方策はただのgreedy方策です。εによる例外的な探索を加えたものがε-greedy方策です。
📝 試験でのポイント
- 「探索=ランダム選択」「活用=報酬平均が最高の行動を選択」という定義の対応付けが問われる可能性があります。
- εの大小と探索・活用の関係(小さい→活用寄り/大きい→探索寄り)を逆にした誤答選択肢に注意しましょう。
- εがハイパーパラメータ(人間が設定する値)であることも問われるポイントです。
- UCB方策・バンディットアルゴリズムと並べて「どの説明がε-greedyか」を選ばせる対比問題が想定されます。
📚 まとめ
ε-greedy方策は、確率εでランダムな探索、確率1-εで最良の行動の活用を行う行動選択ルールです。探索と活用のジレンマに対する最もシンプルな解決策であり、Q学習の行動選択やバンディット問題で広く使われます。εはハイパーパラメータで、小さいと活用寄り・大きいと探索寄りになります。試験では定義の対応付けとεの向き、UCB方策との違いを押さえておけば安心です。
