この項目では、機械学習を確率の言葉で記述するための基礎概念と、代表的な確率分布を学びます。損失関数の導出や生成モデルの理解など、後続のほぼすべての単元の前提となる内容です。
※この項目はシラバス2026では出題対象外(オプション)ですが、前提知識として重要なため解説します。
📖 概要
機械学習では、データを「確率的に生成されたもの」とみなしてモデル化します。その記述に使うのが確率変数と確率分布です。まず、複数の変数の関係を表す同時確率・条件付き確率・周辺確率、分布を関数として表す確率質量関数・確率密度関数、分布の特徴を要約する期待値・分散・共分散という基礎概念を押さえます。
そのうえで、代表的な分布を学びます。コイン投げのような2値の試行を表すベルヌーイ分布とその繰り返しである二項分布、サイコロのような多値の試行を表すカテゴリカル分布は、分類問題の出力のモデル化に直結します。連続値ではガウス分布(正規分布)が最も重要で、複数のガウス分布を混ぜた混合ガウス分布はクラスタリングや生成モデルに使われます。ガウス分布が特別な地位を持つ理由のひとつが中心極限定理です。
🔍 キーワード解説
確率変数と確率の基本法則
確率変数は、試行の結果に応じて値が決まる変数です。2つの確率変数 X, Y について、両方の値が同時に定まる確率 P(X, Y) を同時確率、一方の値が与えられたもとでの確率 P(X|Y) = P(X, Y)/P(Y) を条件付き確率と呼びます。同時確率を一方の変数について足し合わせ(連続なら積分し)て得られる P(X) = Σ_y P(X, Y=y) が周辺確率です。この3つの関係(乗法定理と周辺化)は、ベイズ則をはじめ確率モデル全般の計算の基本になります。
確率質量関数と確率密度関数
離散型の確率変数では、各値の確率そのものを与える関数 p(x) を確率質量関数と呼びます。連続型の確率変数では一点の確率は0になるため、代わりに確率密度関数を使い、区間の確率を密度の積分として定義します。密度は1を超えることもあり得る点(確率そのものではない点)に注意が必要です。どちらも全体で合計(積分)すると1になります。
期待値・分散・共分散
期待値 E[X] は確率で重み付けした平均で、離散なら E[X] = Σ x p(x) です。分散 Var[X] = E[(X - E[X])^2] は値のばらつきの大きさを表し、Var[X] = E[X^2] - (E[X])^2 という変形が計算でよく使われます。共分散 Cov[X, Y] = E[(X - E[X])(Y - E[Y])] は2変数が連動して変動する度合いを表し、正なら同方向、負なら逆方向に動く傾向を意味します。共分散を並べた共分散行列は、多変量ガウス分布や主成分分析で中心的な役割を果たします。
ベルヌーイ分布・二項分布・カテゴリカル分布
成功確率 p で成功(1)か失敗(0)のどちらかが起こる試行をベルヌーイ試行と呼び、その1回分の分布がベルヌーイ分布です(期待値 p、分散 p(1-p))。ベルヌーイ試行を独立に n 回繰り返したときの成功回数が従う分布が二項分布で、期待値は np、分散は np(1-p) です。結果が K 種類ある1回の試行(サイコロなど)を表すのがカテゴリカル分布で、多クラス分類でソフトマックス関数の出力がモデル化する分布はこれに当たります。カテゴリカル試行を n 回繰り返した回数の分布は多項分布と呼ばれます。
ガウス分布・混合ガウス分布・中心極限定理
ガウス分布(正規分布)は平均と分散の2つのパラメータで決まる釣り鐘型の連続分布で、観測ノイズのモデル化など機械学習で最も頻繁に使われます。単一のガウス分布では表せない複雑な分布を、複数のガウス分布の重み付き和で表したものが混合ガウス分布で、クラスタリング(EMアルゴリズムによる推定)や密度推定に用いられます。中心極限定理は「独立同分布の確率変数の和(平均)は、元の分布の形によらず、数が増えるとガウス分布に近づく」という定理で、ガウス分布が自然界やノイズのモデルとして広く現れる理論的根拠になっています。なお、裾がガウス分布より重い連続分布としてt分布があり、少数データの統計や外れ値に頑健なモデル化で使われます。
📝 試験でのポイント
- 同時確率・条件付き確率・周辺確率の関係式を使った数値計算(表から周辺化・条件付けする問題)が典型です
- 期待値・分散の定義と、Var[X] = E[X^2] - (E[X])^2 を使った計算は確実にできるようにしましょう
- ベルヌーイ分布(期待値 p・分散 p(1-p))、二項分布(np・np(1-p))の期待値と分散は暗記推奨です
- 確率質量関数(離散)と確率密度関数(連続)の違い、密度は1を超え得る点は紛らわしいポイントです
- カテゴリカル分布はソフトマックス出力・クロスエントロピー誤差の背景として後の章でも問われます
📚 まとめ
同時確率・条件付き確率・周辺確率と、期待値・分散・共分散は確率モデルを読むための基本語彙です。 ベルヌーイ分布・二項分布・カテゴリカル分布は、2値分類・多クラス分類の出力の確率的な意味付けを与えます。 ガウス分布は中心極限定理に支えられた最重要の連続分布で、混合ガウス分布はその表現力を拡張します。 これらは最尤推定や損失関数の導出(次項目)に直結するため、定義から使えるようにしておきましょう。
