【E資格】確率モデルのパラメータ推定｜最尤推定・MAP推定・ベイズ推定の違い

この項目では、観測データから確率モデルのパラメータを決める3つの立場(最尤推定・MAP推定・ベイズ推定)を学びます。深層学習の損失関数(クロスエントロピーや平均二乗誤差)が「なぜその形なのか」を説明する、試験でも頻出の重要単元です。

📖 概要

機械学習のモデルはパラメータ θ を持つ確率分布 p(x|θ) としてデータの生成をモデル化します。パラメータ推定とは、観測データ D からもっともらしい θ を決める手続きです。最も基本的な立場が、データが観測される確率(尤度)を最大にする θ を選ぶ最尤推定です。計算上は尤度の対数である対数尤度を最大化します。

これに対し、θ に関する事前知識(事前分布)を取り入れる立場がベイズ的なアプローチです。その計算の土台がベイズ則で、事前分布と尤度から事後分布を求めます。事後確率が最大の一点を選ぶのがMAP推定、事後分布そのものを保持して予測に使うのがベイズ推定です。

さらにこの単元では、推定と損失関数の関係も重要です。ガウスノイズを仮定した最尤推定は平均二乗誤差の最小化と一致し、負の対数尤度の最小化は経験分布とモデル分布の間のダイバージェンス(KLダイバージェンス)の最小化と等価です。つまり、日常的に使う損失関数は確率的な推定原理から導かれています。

🔍 キーワード解説

ベイズ則

ベイズ則は、条件付き確率の定義から導かれる関係式 P(θ|D) = P(D|θ) P(θ) / P(D) です。P(θ) が事前分布、P(D|θ) が尤度、P(θ|D) が事後分布、P(D) は正規化のための周辺尤度(エビデンス)です。「データを観測する前の信念(事前)を、データの証拠(尤度)で更新して事後の信念を得る」という確率的推論の基本原理であり、MAP推定・ベイズ推定の出発点です。

ナイーブベイズ

ナイーブベイズは、ベイズ則を分類に応用した手法で、クラス y が与えられたとき各特徴量が条件付き独立であると「素朴に(ナイーブに)」仮定します。この仮定により尤度が特徴量ごとの確率の積 P(x1, ..., xd | y) = Π P(xi | y) に分解でき、高次元でも少ないデータで推定できます。独立性の仮定は現実には厳密に成り立たないことが多いものの、スパム判定などのテキスト分類で実用的な性能を示すことが知られています。

最尤推定と対数尤度

最尤推定は、観測データ D に対する尤度 P(D|θ) を最大にする θ を選ぶ方法です。データが独立同分布なら尤度は各データの確率の積になるため、対数を取って和に直した対数尤度 log P(D|θ) = Σ log p(xi|θ) を最大化します。対数は単調増加なので最大点は変わらず、積が和になって微分計算が容易になり、数値的なアンダーフローも避けられます。実装では符号を反転した負の対数尤度(NLL)を損失関数として最小化するのが一般的です。

平均二乗誤差との関係

回帰モデルの出力に平均0・分散一定のガウスノイズが乗ると仮定して最尤推定を行うと、対数尤度の最大化は平均二乗誤差(予測値と目標値の差の2乗の平均)の最小化と一致します。つまり回帰でMSEを使うことは、暗黙にガウスノイズを仮定した最尤推定をしていることに相当します。同様に、2値分類でベルヌーイ分布を仮定するとバイナリクロスエントロピーが導かれます。

ダイバージェンス

ダイバージェンスは2つの確率分布の「隔たり」を測る量で、代表例がKLダイバージェンス KL(P||Q) = Σ p(x) log(p(x)/q(x)) です。常に0以上で、両分布が一致するときのみ0になりますが、対称性は成り立ちません(距離の公理は満たさない)。データの経験分布とモデル分布のKLダイバージェンス最小化は、負の対数尤度の最小化(=最尤推定)と等価であり、「クロスエントロピー損失で学習する」ことの理論的な意味付けを与えます。

MAP推定

MAP推定(最大事後確率推定)は、ベイズ則で得られる事後分布 P(θ|D) ∝ P(D|θ)P(θ) を最大にする一点 θ を選ぶ方法です。対数を取ると「対数尤度+対数事前分布」の最大化になり、事前分布の項が正則化として働きます。たとえばパラメータにガウス分布の事前分布を置くとL2正則化、ラプラス分布を置くとL1正則化と対応することが知られています。事前分布が一様分布の場合、MAP推定は最尤推定に一致します。

ベイズ推定

ベイズ推定は、θ を一点に決めず、事後分布 P(θ|D) 全体を保持する立場です。予測時にはあり得るすべての θ について予測を事後確率で重み付き平均(周辺化)するため、パラメータの不確かさを予測に反映できます。過剰適合しにくい一方、積分計算が一般には困難で、近似手法(変分推論やサンプリング)が必要になることが多い点が実用上の課題です。

📝 試験でのポイント

📚 まとめ

パラメータ推定には、尤度のみを使う最尤推定、事前分布を加えて一点を選ぶMAP推定、事後分布全体を使うベイズ推定の3つの立場があります。 計算は対数尤度で行い、負の対数尤度の最小化はKLダイバージェンス最小化と等価です。 MSEやクロスエントロピーといった損失関数は、確率モデルの最尤推定から自然に導かれます。 ベイズ則とナイーブベイズを含め、式の各項の意味を説明できる状態を目指しましょう。