この項目では、「情報の量」を数学的に定義する情報理論の基本概念を学びます。分類問題の標準損失であるクロスエントロピーや、分布間の隔たりを測るKLダイバージェンスの土台であり、E資格では計算問題も出やすい重要単元です。
📖 概要
情報理論は「珍しい出来事ほど多くの情報を持つ」という直感を数式にした理論です。出発点は、1つの事象が持つ情報量を定義する自己情報量で、確率の対数にマイナスを付けた形をしています。これを確率分布全体で平均したものがエントロピーで、分布の不確かさ(予測のしにくさ)を表します。
2つの確率変数に広げると、両方を合わせた不確かさを表す結合エントロピー、一方を知ったあとに残る不確かさを表す条件付きエントロピー、一方を知ることでどれだけ不確かさが減るかを表す相互情報量が定義されます。これらは「知ることで情報がどう変化するか」を定量化する道具です。
さらに、2つの分布を比較する量として、クロスエントロピー、KLダイバージェンス、JSダイバージェンスがあります。深層学習では、分類モデルの学習にクロスエントロピー損失、VAEの正則化項にKLダイバージェンス、GANの理論解析にJSダイバージェンスが登場するなど、この単元の概念が損失関数の設計を貫いています。
🔍 キーワード解説
自己情報量
自己情報量は、確率 p(x) で起こる事象 x の情報量を I(x) = -log p(x) で定義したものです。確率が小さい(珍しい)事象ほど情報量が大きく、確実に起こる事象(p=1)の情報量は0になります。また、独立な事象が同時に起こったときの情報量は各情報量の和になる(積の対数=対数の和)という、直感に合う性質を持ちます。対数の底が2ならビット、自然対数ならナットという単位で測ります。
エントロピー
エントロピーは自己情報量の期待値 H(P) = -Σ p(x) log p(x) で、確率分布 P の不確かさの平均を表します。どの結果も同じ確率で起こる一様分布のとき最大になり、結果が1つに確定している分布では0になります。たとえば公平なコイン投げのエントロピーは1ビットです。機械学習では、決定木の分割基準(情報利得)やソフトマックス出力の不確かさの評価などに使われます。
結合エントロピーと条件付きエントロピー
結合エントロピー H(X, Y) は、2つの確率変数の組 (X, Y) の同時分布に対するエントロピーで、両方を合わせた全体の不確かさを表します。条件付きエントロピー H(Y|X) は、X を知ったあとに残る Y の不確かさの平均です。両者には H(X, Y) = H(X) + H(Y|X) という連鎖則が成り立ちます。X と Y が独立なら H(Y|X) = H(Y) となり、X を知っても Y の不確かさは減りません。
相互情報量
相互情報量 I(X; Y) は、一方の変数を知ることでもう一方の不確かさがどれだけ減るかを表す量で、I(X; Y) = H(Y) - H(Y|X) = H(X) + H(Y) - H(X, Y) と書けます。X と Y に関して対称で、常に0以上、独立のときに限り0になります。相関係数が捉えられない非線形な依存関係も検出できるため、特徴量選択や表現学習の目的関数などに応用されます。同時分布と周辺分布の積のKLダイバージェンスとしても表せます。
クロスエントロピー
クロスエントロピー H(P, Q) = -Σ p(x) log q(x) は、真の分布 P のもとで、モデル分布 Q を使って符号化(予測)したときの平均情報量です。P と Q が一致するときに最小となり、その最小値はエントロピー H(P) に一致します。多クラス分類では、正解ラベルのone-hot分布を P、ソフトマックス出力を Q としたクロスエントロピーが標準の損失関数で、このとき値は正解クラスの予測確率の負の対数になります。クロスエントロピー最小化は負の対数尤度最小化と等価です。
KLダイバージェンス
KLダイバージェンス KL(P||Q) = Σ p(x) log(p(x)/q(x)) は、分布 Q で分布 P を近似したときの「余分なコスト」を表す量です。KL(P||Q) = H(P, Q) - H(P)、すなわちクロスエントロピーからエントロピーを引いた値に一致します。常に0以上で、P = Q のときのみ0ですが、KL(P||Q) ≠ KL(Q||P) と非対称であり、三角不等式も満たさないため数学的な「距離」ではありません。VAEの損失(変分下限)の正則化項や、方策最適化での分布の変化の制約など、深層学習の広い場面に登場します。
JSダイバージェンス
JSダイバージェンスは、KLダイバージェンスの非対称性を解消した指標で、2つの分布 P, Q の平均分布 M = (P + Q)/2 を使って JS(P||Q) = (1/2) KL(P||M) + (1/2) KL(Q||M) と定義されます。対称であり、値が有限の範囲に収まるという扱いやすい性質を持ちます。オリジナルのGANの学習は、生成分布とデータ分布のJSダイバージェンスの最小化に対応することが理論解析で示されています。
📝 試験でのポイント
- 具体的な確率(例: 1/2, 1/4, 1/4 の分布)からエントロピーやクロスエントロピーを計算させる問題が典型です
H(X, Y) = H(X) + H(Y|X)、I(X; Y) = H(Y) - H(Y|X)、KL = クロスエントロピー - エントロピーの関係式は頻出です- KLダイバージェンスの3性質(非負・P=Qで0・非対称)は選択肢の正誤判定でよく問われます
- クロスエントロピー損失と負の対数尤度の等価性、one-hotラベルのとき
-log(正解クラスの予測確率)になることを押さえましょう - KLとJSの違い(対称性の有無、JSはGANの理論に対応)は紛らわしい対比ポイントです
📚 まとめ
自己情報量 -log p(x) を平均したものがエントロピーで、分布の不確かさを表します。 結合・条件付きエントロピーと相互情報量は、複数の変数の間の情報の関係を定量化します。 クロスエントロピーとKLダイバージェンスは「クロスエントロピー=エントロピー+KL」の関係で結ばれ、分類の損失関数の理論的基盤です。 JSダイバージェンスはKLを対称化した指標で、GANの理論に現れます。定義式と相互関係をセットで覚えましょう。
