このシリーズではE資格対策として、シラバスの内容を項目別にまとめています。
【E資格】シラバスでみるE資格の試験内容（E2022#2〜）
今回の記事ではシラバスをもとにE資格の試験内容について紹介します。 詳細は以下のリンクからご確認ください。 https://www.jdla.org/certificate/engineer/ １．応用数…
つくもちブログ 〜Python&AIまとめ〜 
情報理論と情報量
情報量
情報量は情報の”新しさ”や”驚き”を数値化したもので、出来事の確率が低いほど情報量は大きくなります。情報量はクロード・シャノンによって定義され、次の式で計算できます。
$$
I(x) = – \log P(x)
$$
ここでのI(x)は出来事xの情報量を表し、P(x)はその出来事が起こる確率を表します。この式では、確率が低い出来事は高い情報量をもつことを表しています。また、この式は自然対数（底がeの対数）を使っていますが、底が2の対数を使った場合は、情報量の単位はビット(bit)となります。
エントロピー
情報の平均量、すなわちエントロピーについて説明します。エントロピーは、情報源から得られる情報の平均的な量で、次の式で計算できます。
$$
H(X) = – \sum P(x) \log P(x)
$$
ここでのH(X)は確率変数Xのエントロピーを表し、sumは全ての可能な出来事xについての総和を取ることを意味します。情報量の期待値（平均値）を表しており、エントロピーが高ければ高いほど、情報源から得られる情報の不確定性が高いことを意味します。
交差エントロピー
交差エントロピーは、情報理論の一部として、異なる確率分布間の相違度を計算するための手法です。特に機械学習の分野でよく用いられ、モデルの予測確率分布と真の分布との間の”距離”を測定するのに役立ちます。
2つの確率分布PとQが与えられた場合、Pから見たQの交差エントロピーは次のように計算されます。
$$
H(P, Q) = – \sum P(x) \log Q(x)
$$
この式では、H(P, Q)はPとQの間の交差エントロピーを表します。P(x)はxが発生する真の確率、Q(x)はモデルがxが発生すると予測する確率を表します。
交差エントロピーは、一般的にPとQが完全に一致している場合（つまりモデルの予測が真の分布と完全に一致している場合）に最小となります。そのため、機械学習の分野では、モデルの学習を通じて交差エントロピーが最小となるようにモデルのパラメータを調整します。これが最尤推定法の一種であり、ロジスティック回帰やニューラルネットワークなど、多くの機械学習アルゴリズムで使用されています。
KLダイバージェンス
KLダイバージェンス（またはカルバック・ライブラー ダイバージェンス）は、確率分布間の”距離”を測定するための手法で、交差エントロピーと密接に関連しています。KLダイバージェンスは特に機械学習や統計学において重要な概念となっています。
2つの確率分布PとQが与えられた場合、PからQへのKLダイバージェンスは次のように計算されます。
$$
D_{KL}(P || Q) = \sum P(x) \log \frac{P(x)}{Q(x)}
$$
この式では、D_{KL}(P || Q)はPとQの間のKLダイバージェンスを表し、P(x)とQ(x)はそれぞれxが発生する確率を表します。KLダイバージェンスは2つの部分、つまりPのエントロピーとPとQの交差エントロピーの差で構成されていることがわかります。
交差エントロピーと尤度関数
二項分布や多項分布のような分布を考えるとき、交差エントロピーの最小化は尤度の最大化に対応します。なぜなら、交差エントロピーは真の分布と予測分布の間のKLダイバージェンスと見なすことができ、これはモデルのパラメータが真のパラメータからどれだけ離れているかを測る尺度となります。
具体的には、交差エントロピー損失関数を最小化することは、以下の尤度関数を最大化することと同等です：
$$
L(\theta; X) = \prod P(x|\theta)
$$
ここで、L(theta; X)はパラメータthetaを持つモデルに対するデータXの尤度を表し、P(x|theta)はパラメータthetaを持つモデルでデータxが生成される確率を表します。つまり、尤度関数は、パラメータthetaが与えられたときにデータが観測される確率を表しています。
まとめ
最後までご覧いただきありがとうございました。