【E資格】性能指標まとめ｜混同行列・Precision・Recall・ROC/AUC・IoU・mAP

モデルの良し悪しは、タスクに合った指標で測らなければ正しく判断できません。この項目では、分類・回帰・物体検出・言語モデルまで、E資格で問われる主要な評価指標を体系的に整理します。計算問題として出題されやすい最重要項目のひとつです。

📖 概要

評価指標はタスクの種類ごとに使い分けられます。分類問題では、予測と正解の組み合わせを集計した混同行列を出発点として、正解率・適合率・再現率・F値が定義されます。クラスの偏り(不均衡)があるデータでは正解率だけでは不十分で、適合率と再現率のバランスや、しきい値に依存しないROC曲線・AUCが重要になります。

多クラス分類ではクラスごとの指標をどう集約するかが問題になり、micro平均とmacro平均という2つの平均方法が使われます。回帰問題ではMSE・RMSE・MAEといった誤差の大きさを測る指標、物体検出ではIoUとmAP、言語モデルではパープレキシティが標準的な指標です。

🔍 キーワード解説

混同行列

混同行列は、2値分類の結果を「真陽性(TP)・偽陽性(FP)・偽陰性(FN)・真陰性(TN)」の4つに分類して集計した表です。行と列に正解と予測を対応させ、すべての分類指標の計算の土台になります。TPは陽性を正しく陽性と予測、FPは陰性を誤って陽性と予測、FNは陽性を誤って陰性と予測、TNは陰性を正しく陰性と予測した件数です。

正解率(Accuracy)

正解率(Accuracy)は全予測のうち正しかった割合で、Accuracy = (TP + TN) / (TP + FP + FN + TN) と定義されます。直感的で分かりやすい一方、クラスが不均衡な場合には役に立ちにくいという弱点があります。例えば陽性が1%しかないデータでは、すべて陰性と予測するだけで正解率99%になってしまいます。

適合率(Precision)と再現率(Recall)

適合率(Precision)は「陽性と予測したもののうち実際に陽性だった割合」で、Precision = TP / (TP + FP) です。誤検出(FP)を減らしたいときに重視されます。

再現率(Recall)は「実際の陽性のうち正しく陽性と予測できた割合」で、Recall = TP / (TP + FN) です。見逃し(FN)を減らしたいとき、例えば病気の検出などで重視されます。

一般に、判定のしきい値を動かすと適合率と再現率はトレードオフの関係になります。

F値

F値(F1スコア)は適合率と再現率の調和平均で、F1 = 2 * Precision * Recall / (Precision + Recall) と定義されます。両者のバランスを1つの数値で表せるため、不均衡データの分類評価によく使われます。調和平均であるため、どちらか一方が極端に低いとF値も低くなります。

ROC曲線とAUC

ROC曲線は、判定しきい値を変化させながら、横軸に偽陽性率 FPR = FP / (FP + TN)、縦軸に真陽性率 TPR = TP / (TP + FN)(=再現率)をプロットした曲線です。しきい値に依存せずモデルの識別能力を可視化できます。

AUC(Area Under the Curve)はROC曲線の下側の面積で、1に近いほど識別能力が高く、0.5はランダムな予測と同等であることを意味します。「ランダムに選んだ陽性サンプルに、陰性サンプルより高いスコアを与える確率」という解釈もできます。

多クラス分類の評価指標(micro平均/macro平均)

多クラス分類でPrecisionやRecallを計算する際の集約方法として、micro平均とmacro平均があります(シラバスでは多クラス分類の評価指標（micro平均/macro平均）として挙げられています)。micro平均は全クラスのTP・FP・FNを合算してから指標を計算する方法で、サンプル数の多いクラスの影響が大きくなります。macro平均はクラスごとに指標を計算してから単純平均する方法で、少数クラスも均等に扱われます。クラス不均衡があるとき、どちらを使うかで値が大きく変わる点が重要です。

RMSE/MSE・MAE(回帰の指標)

回帰では誤差の大きさを測ります。RMSE/MSEのうちMSE(平均二乗誤差)は MSE = (1/n) Σ (y_i - ŷ_i)^2、RMSEはその平方根で、元のデータと同じ単位で誤差を解釈できます。二乗するため外れ値(大きな誤差)に敏感です。

MAE(平均絶対誤差)は MAE = (1/n) Σ |y_i - ŷ_i| で、誤差の絶対値の平均です。MSE系より外れ値の影響を受けにくい(頑健である)という性質があります。

Intersection-over-Union (IoU)

Intersection-over-Union (IoU)は、物体検出やセグメンテーションで予測領域と正解領域の重なり具合を測る指標です。IoU = (共通部分の面積) / (和集合の面積) で定義され、0から1の値をとり、完全一致で1になります。物体検出では「IoUがしきい値(例: 0.5)以上なら正解とみなす」という形で検出の成否判定に使われます。

mean Average Precision(mAP)

mean Average Precision(mAP)は物体検出の標準的な総合指標です。まずクラスごとに、検出結果を信頼度順に並べてPrecision-Recall曲線を描き、その曲線から求めた平均適合率(AP)を計算します。mAPは全クラスのAPを平均した値です。IoUのしきい値をどう設定するかで値が変わるため、評価条件とセットで解釈します。

パープレキシティ

パープレキシティ(perplexity)は言語モデルの評価指標で、モデルが次の単語をどれだけ「迷っているか」を表します。テストデータに対する平均対数尤度をLとすると perplexity = exp(-L) のように、負の対数尤度の指数として定義され、直感的には「モデルが平均して何択で迷っているか」に相当します。値が小さいほど予測性能が高い言語モデルです。

📝 試験でのポイント

📚 まとめ

分類では混同行列を起点にAccuracy・Precision・Recall・F値が定義され、しきい値に依存しない評価としてROC曲線とAUCがあります。多クラスではmicro平均/macro平均の違いに注意が必要です。回帰ではMSE/RMSEとMAE、物体検出ではIoUとmAP、言語モデルではパープレキシティが使われます。タスクとデータの性質(特にクラス不均衡)に応じて指標を選ぶことが評価の基本です。