画像分類でも自然言語処理でも、分類タスクの学習で必ずといってよいほど登場するのが交差エントロピーです。「なぜ分類では二乗誤差ではなくこれを使うのか」まで含めて、初心者向けに解説します。
📖 ひと言でいうと
交差エントロピーとは、モデルが出力した予測確率の分布と、正解ラベルが表す分布のズレを測る損失関数です。値が小さいほど「予測が正解に近い」ことを意味し、分類問題の学習ではこの値を最小化するようにモデルを更新していきます。
例えるなら、天気予報の採点方法のようなものです。「明日晴れる確率90%」と予報して実際に晴れたら小さな減点で済みますが、「晴れる確率10%」と言っていたのに晴れたら大きく減点されます。厳密には対数を使って計算されるため、自信満々の予測が外れたときほど罰が急激に重くなるのが特徴です。
🖼 1枚でわかる交差エントロピー
📘 公式テキストの説明
特に機械学習で分類タスクの精度を評価するための重要な損失関数として広く使用されている。これは、モデルが予測する確率分布と実際のラベルの確率分布の「距離」を測定し、その値が小さいほどモデルが精度良く予測していることを示す指標となる。具体的には、交差エントロピー損失が小さければ小さいほど、予測と真のラベルの分布が近似していることになり、モデルの学習が効果的であることを意味する。数学的には、モデルが出力する確率値pと真のラベルの確率値qの間で、各クラスごとに誤差を計算し、その総和をとることで交差エントロピーが求められる。これは、モデルが学習過程でこの損失を最小化することで、予測の正確性を高める役割を果たす。画像分類や自然言語処理、音声認識など、AIが扱う多くの分野で活用されている。
かみ砕くと、「クラスごとに予測確率と正解のズレを計算して合計したものが交差エントロピーで、これを小さくする方向に学習を進める」ということです。分類モデルの出力は「犬80%・猫15%・鳥5%」のような確率分布なので、その良し悪しを測るには確率分布同士を比べる物差しが必要になります。その物差しが交差エントロピーです。
🔍 しっかり理解する
分類の学習はこう回る
分類問題での交差エントロピーの使われ方を、学習の流れで確認しましょう。
正解ラベルは通常「正解クラスが1、それ以外が0」というone-hot形式の分布として扱われます。この場合、交差エントロピーは実質的に「正解クラスに割り当てた予測確率の対数にマイナスをつけたもの」になり、正解クラスの確率を1に近づけるほど損失が小さくなります。
なぜ分類では二乗誤差でなく交差エントロピーなのか
ニューラルネットワークの出力層では、2クラス分類ならシグモイド関数、多クラス分類ならソフトマックス関数を使って確率を出力します。これらの関数には指数計算が含まれており、交差エントロピーの対数計算と組み合わせると式がきれいに整理され、勾配（学習の手がかり）が計算しやすい形になります。
この相性の良さが実務的に重要です。二乗誤差をシグモイドやソフトマックスと組み合わせると、予測が大きく外れているのに勾配が小さくなり学習が進みにくくなる場面が生じます。交差エントロピーなら「大外れのときほど強い修正がかかる」ため、効率的に学習が進みます。
KL情報量との関係
交差エントロピーは、情報理論のカルバック・ライブラー情報量（KLダイバージェンス）と深い関係があります。交差エントロピーは「正解分布そのもののエントロピー＋KL情報量」に分解でき、正解分布が固定されている学習では、交差エントロピーの最小化はKL情報量の最小化と同じ意味になります。つまり交差エントロピーを下げることは、予測分布を正解分布に近づけることと等価なのです。
💡 具体例で考える
手書き数字認識（0〜9の10クラス分類）を考えましょう。「7」の画像に対してモデルが「7が0.6、1が0.3、9が0.1」と予測したとします。正解クラス7への確率0.6はまずまずなので損失は中くらいです。学習が進んで「7が0.95」と出せるようになると損失は大きく下がります。逆にもし「7が0.01」しか出せなければ、対数の効果で損失は非常に大きくなり、強い修正シグナルがモデルに送られます。
ChatGPTのような大規模言語モデルの事前学習も、本質は「次に来る単語（トークン）はどれか」という巨大な多クラス分類であり、その損失関数として交差エントロピーが使われています。分類の定番損失関数という位置づけは、最先端のモデルでも変わっていません。
⚠️ よくある誤解・紛らわしい用語
- 平均二乗誤差との使い分け — 平均二乗誤差は主に回帰（数値の予測）、交差エントロピーは分類（クラスの予測）で使うのが基本の対応です。「分類タスクの損失関数はどれか」と問われたら交差エントロピーを選びます
- カルバック・ライブラー情報量との混同 — KL情報量は分布の差の「差分だけ」を測る指標、交差エントロピーはエントロピー項を含んだ量です。分類の損失関数として直接使われるのは交差エントロピーです
- 「小さいほど悪い」は逆 — 交差エントロピーは損失なので、小さいほど予測が正解に近い良い状態です
- 正解率（Accuracy）との違い — 正解率は「当たったか外れたか」の集計で、学習中の微調整には向きません。交差エントロピーは確率の自信度まで含めて連続的に評価するため、勾配による学習に使えます
📝 試験でのポイント
- 「分類タスクで用いられる損失関数として最も適切なものはどれか」という形式で、平均二乗誤差・KL情報量・Contrastive Lossなどと並べて出題されることが想定されます
- 「値が小さいほど予測分布と正解分布が近い」という向きの理解は、正誤判定で問われやすいポイントです
- シグモイド関数・ソフトマックス関数との組み合わせで効率的な学習が可能になる、という相性の話も出題候補です
- 「回帰=平均二乗誤差、分類=交差エントロピー」という基本対応を入れ替えた誤答選択肢に注意しましょう
📚 まとめ
交差エントロピーは、モデルの予測確率分布と正解ラベルの分布のズレを測る、分類タスクの定番損失関数です。値が小さいほど予測は正解に近く、学習ではこの損失を最小化します。ソフトマックスやシグモイドの指数計算と対数計算の相性が良く、効率的な学習を可能にすることが分類で好まれる理由です。回帰の平均二乗誤差との使い分け、KL情報量との関係を整理しておけば、試験でも迷わず対応できます。
