天気予報を見れば、傘を持つべきかどうかの迷いは減ります。このように「一方を知ることで、もう一方についての不確実性がどれだけ減るか」を数値化したものが相互情報量です。情報理論の考え方をベースに、エントロピーとの関係、相関係数では捉えられない関係まで測れる強みを解説します。
📖 ひと言でいうと
相互情報量とは、2つの確率変数がどれだけ情報を共有しているか、つまり「片方の値を知ることで、もう片方の不確実性(エントロピー)がどれだけ減るか」を表す指標です。0以上の値を取り、0なら2つの変数は完全に独立、値が大きいほど強く関連しています。
クイズにたとえると、「ヒントをもらう前ともらった後で、答えの絞り込みやすさがどれだけ変わったか」がヒントの相互情報量です。役に立たないヒント(独立な変数)なら0、答えが一発で分かるヒントなら大きな値になります。
🖼 1枚でわかる相互情報量
📘 公式テキストの説明
相互情報量は、情報理論において、2つの確率変数の間の関連性を表す指標です。簡単に言えば、片方の変数を知ることで、もう一方の変数に関する不確実性がどれだけ減るかを示します。例えば、天気予報と傘を持つ人の関係を考えると、天気予報が「雨」となった場合、傘を持っている人が多いことが予想できます。この場合、天気予報の情報が傘を持つかどうかの予測に役立ちます。相互情報量がゼロの場合、2つの変数は完全に独立しており、一方の変数を知ってももう一方の変数に関する情報は得られません。一方、相互情報量が高い場合、2つの変数は強く関連しており、一方の変数を知ることで他方に関する情報が大幅に得られることを意味します。相互情報量は、確率変数間の依存度を定量的に表すだけでなく、エントロピーとも深く関連しています。エントロピーは情報の不確実性や散らばりの度合いを示すもので、相互情報量は、エントロピーからもう一方の変数を知ることでどれだけその不確実性が減るかを測定します。エントロピーが高い場合は、不確実性が大きいことを意味し、相互情報量がその不確実性をどれだけ削減できるかを示す重要な指標です。
かみ砕くと、相互情報量は「エントロピーの差」として理解できます。Yを知る前のXの不確実性がH(X)、Yを知った後に残るXの不確実性がH(X|Y)だとすると、相互情報量I(X;Y) = H(X) − H(X|Y)、つまり「知ったことで消えた不確実性」です。天気予報の例なら、予報を見る前の「傘を持つかどうか」の迷い(エントロピー)から、予報を見た後に残る迷いを引いた分が、天気予報という情報の価値ということになります。
🔍 しっかり理解する
エントロピーとの関係を図で押さえる
重要な性質が2つあります。第一に、相互情報量は対称です。「Yを知ったときのXの不確実性の減り」と「Xを知ったときのYの不確実性の減り」は常に等しく、I(X;Y) = I(Y;X)が成り立ちます。第二に、相互情報量は0以上で、0になるのは2つの変数が完全に独立なときだけです。
極端な例で感覚をつかむ
2枚のコインで考えます。1枚目の表裏Xと2枚目の表裏Yがまったく無関係(独立)なら、Yを見てもXの予想は1ミリも改善しないので、I(X;Y) = 0です。逆に、2枚が接着されていて常に同じ面が出るなら、Yを見た瞬間にXが確定します。公平なコインの不確実性H(X)は1ビットなので、I(X;Y) = 1ビット——Xの不確実性がまるごと消える、最大の関連です。実際のデータはこの両極端の間のどこかに位置します。
相関係数では見えない関係も捉える
相関係数は「直線的な」関係しか測れませんが、相互情報量は確率分布そのものの依存関係を見るため、非線形な関係も検出できます。たとえばXが-1、0、1を等確率で取り、Y = Xの2乗という完全に決まった関係があるとき、相関係数は0になってしまいます(正負が打ち消し合うため)が、相互情報量は0より大きな値を示し、「YはXから決まる」という関係をきちんと捉えます。関係の「形」を仮定せずに依存の有無を測れるのが相互情報量の強みです。
💡 具体例で考える
特徴量選択は機械学習における相互情報量の代表的な使い道です。顧客の解約を予測するモデルを作るとき、「利用月数」「年齢」「問い合わせ回数」など多数の候補から、目的変数(解約の有無)との相互情報量が大きい特徴量を優先して選べば、非線形な効き方をする特徴量も見逃さずに絞り込めます。scikit-learnにもmutual_info_classifといった関数が用意されており、実務で広く使われています。
決定木の分岐選択も同じ発想です。決定木は「どの特徴量で分岐すればクラスの不確実性(エントロピー)が最も減るか」を基準にデータを分割していきますが、この「分割による不確実性の減少量」は情報利得と呼ばれ、相互情報量と本質的に同じ量です。
⚠️ よくある誤解・紛らわしい用語
- 相関係数との違い — 相関係数は直線的な関係の強さを-1〜1で表し、負の値もあります。相互情報量は0以上で、線形・非線形を問わず依存関係全般を測ります。
- 「相互情報量が大きい = 因果関係」ではない — 相関係数と同じく、測っているのは統計的な依存であり、どちらが原因かは分かりません。
- エントロピーとの混同 — エントロピーは1つの変数の不確実性、相互情報量は2つの変数の間で共有される情報量です。「エントロピーの差」として結びつけて覚えましょう。
- 条件付き確率との関係 — 条件付き確率は「Aが起きたときのBの確率」という個別の値、相互情報量は分布全体を平均して依存の強さを1つの数値に集約したものです。
📝 試験でのポイント
- 「片方の変数を知ることで、もう一方の不確実性がどれだけ減るかを表す指標」という定義文から相互情報量を選ぶ問題が基本形です。
- 「相互情報量が0 ⇔ 2つの変数は独立」という性質は正誤問題で問われやすいポイントです。
- エントロピー・情報利得と並べて、情報理論系の用語の対応関係を問う出題が想定されます。
- 「非線形な関係も捉えられる(相関係数との違い)」は、指標の使い分けを問う応用問題で効いてきます。
📚 まとめ
- 相互情報量は「一方を知ることで他方の不確実性(エントロピー)がどれだけ減るか」を測る情報理論の指標。
- 常に0以上で、0になるのは完全に独立なときだけ。値が大きいほど強い依存関係を示す。
- 対称性があり、非線形な関係も捉えられる点が相関係数との違い。
- 特徴量選択や決定木の情報利得など、機械学習の実務でも活躍する概念です。
