モデルは複雑にするほど手元のデータには良く当てはまりますが、やり過ぎれば過学習に陥ります。では「ちょうどよい複雑さ」はどう決めればよいのでしょうか。その問いに1つの数式で答えるのが赤池情報量規準(AIC)です。この記事では、AIC = -2logL + 2k という式の意味と、モデル選択での使い方を解説します。
📖 ひと言でいうと
赤池情報量規準(AIC)とは、モデルのデータへの適合度と複雑さ(パラメータ数)の両方を織り込んで、モデルをどれくらい複雑にすればよいかを決めるための指標です。例えるなら、家電選びで「性能点」と「価格」を合算して総合点を出すようなものです。性能(当てはまりの良さ)が高くても、価格(複雑さ)が高すぎれば総合点は悪くなる——AICはモデルにこの採点法を適用し、総合点が最も良い(値が最も低い)モデルを選ばせてくれます。
🖼 1枚でわかる赤池情報量規準
📘 公式テキストの説明
赤池情報量規準（AIC：Akaike's Information Criterion）は、統計モデリングで使用される一般的な手法で、特に機械学習の分野でも頻繁に使われる。モデル設計の際にどれくらいモデルを複雑にすればよいのかを決定するための指標であり、モデルの複雑さと予測精度のバランスを評価するもの。具体的には、AIC = -2logL + 2k の公式で計算される。ここで、Lはモデルの尤度（likelihood）、kはモデルのパラメータ数。-2logLはモデルがデータにどれだけ適合していないかを測定する項であり、これが小さい（モデルがデータによく適合している）ほど望ましい。一方で、2kはモデルの複雑さを表す項で、多くのパラメータを持つモデルはこの値が大きくなる。複雑なモデルは過学習（overfitting）のリスクが高くなるため、AICはそのバランスを取るように設計されている。AICが低いモデルは、予測精度と複雑さのバランスがよいとされる。
かみ砕くと、AICは「当てはまりの悪さの点数」と「複雑さの点数」を足した合計点です。当てはまりが良いほど第1項は小さく、パラメータが少ないほど第2項は小さくなります。つまり両方の項を同時に小さくできるモデル、すなわち「シンプルなのによく当てはまる」モデルほどAICは低くなり、それが選ぶべきモデルだ、という考え方です。
🔍 しっかり理解する
式を2つの項に分けて読む
AIC = -2logL + 2k の構造を、綱引きとしてイメージすると理解しやすくなります。
- Lは尤度=データへの当てはまりの良さ
- 適合していないほど大きくなる
- 複雑なモデルほど小さくしやすい
- この項だけ見ると「複雑ほど得」
- kはモデルのパラメータ数
- パラメータを増やすほど大きくなる
- 複雑化への「ブレーキ」役
- この項だけ見ると「シンプルほど得」
尤度Lとは、いまのモデル(とそのパラメータ)のもとで手元のデータが得られる確からしさのことです。logLはその対数で、当てはまりが良いほど大きくなります。式では-2を掛けて「悪さの点数」に変換しているため、第1項は小さいほど望ましい値になります。
なぜペナルティが必要なのか — 過学習との関係
パラメータを増やせば増やすほど、モデルは訓練データの細かな凹凸(ノイズ)まで再現できるようになり、第1項はほぼ必ず改善します。しかしノイズへの適合は新しいデータでは役に立たず、かえって予測を外す——これが過学習です。当てはまりの良さだけでモデルを選ぶと、必ず「一番複雑なモデル」が勝ってしまい、過学習まっしぐらになります。
そこでAICは、パラメータ1個につき2点のペナルティ(2k)を課します。パラメータを1つ追加して当てはまりが改善しても、その改善が2点分に届かなければAICは悪化します。つまり「ペナルティを上回るだけの実質的な説明力の向上があるときだけ、複雑化を許す」仕組みで、複雑さと予測精度のバランスが取られているのです。
使い方 — 候補モデルを並べて最小を選ぶ
AICは単独の値そのものに絶対的な意味があるのではなく、同じデータに対する候補モデル同士の比較に使います。手順は単純で、候補となる複数のモデル(たとえば説明変数の組み合わせが違う回帰モデル)それぞれでAICを計算し、最も低いものを選ぶだけです。統計モデリングの変数選択や、時系列モデルの次数選択などで広く使われています。
💡 具体例で考える
アイスクリーム店の売上を予測する回帰モデルを作るとしましょう。候補として、モデルA「気温のみ」(k=2: 係数1つと切片など)、モデルB「気温+曜日」(k=3)、モデルC「気温+曜日+湿度+降水量+風速+前日売上」(k=7)を考えます。
データに当てはめると、当てはまりの良さ(第1項の小ささ)は C > B > A の順になるはずです。変数が多いほど過去データはよく説明できるからです。しかしAICで比べると、たとえばBが最小になる、ということが起こります。曜日の追加は売上の実質的なパターンを捉えていて、ペナルティ+2を上回る改善をもたらす一方、湿度や風速の追加は過去データの偶然のゆらぎを拾っているだけで、ペナルティに見合う改善がない——AICはこの区別を自動で行い、「気温+曜日」というほどよい複雑さのモデルを指し示してくれるわけです。新しい月の売上を予測させると、実際にBがCより安定した予測を出す、というのが過学習理論の教えるところです。
なお、AICを考案したのは日本の統計学者・赤池弘次で、名前の「赤池」はこの人名に由来します。日本発の指標が世界標準のモデル選択基準になっている例です。
⚠️ よくある誤解・紛らわしい用語
- 「AICは高いほど良い」ではない: AICは低いモデルほど予測精度と複雑さのバランスがよいとされます。正解率などの「高いほど良い」指標と混同しないよう注意しましょう。
- 「当てはまりが最良のモデル=AIC最小」ではない: 当てはまり(尤度)だけなら複雑なモデルが常に勝ちますが、AICは2kのペナルティがあるため、最も複雑なモデルが最小になるとは限りません。むしろそこがAICの存在意義です。
- kの意味の取り違え: 式のkはモデルのパラメータ数です。k-分割交差検証の「k(分割数)」とは無関係なので、同じ文字でも文脈で区別しましょう。
- 交差検証との関係: どちらも「汎化性能の高いモデルを選ぶ」ための道具ですが、交差検証はデータを分割して実測で評価するのに対し、AICは尤度とパラメータ数から計算式で見積もる、というアプローチの違いがあります。
📝 試験でのポイント
- 式 AIC = -2logL + 2k と、L=尤度・k=パラメータ数という記号の意味は最重要ポイントです。
- 「-2logLは適合していない度合い(小さいほど良い)」「2kは複雑さのペナルティ」という各項の役割を問う出題が想定されます。
- 「AICが低いモデルほどバランスがよい」という選択の向きを逆にした誤答に注意しましょう。
- 「モデルの複雑さと予測精度のバランスを評価する」「過学習を防ぐ設計」という目的の記述から用語名を答えさせる形式にも備えましょう。
📚 まとめ
赤池情報量規準(AIC)は、AIC = -2logL + 2k という式で、モデルのデータへの適合度(尤度L)と複雑さ(パラメータ数k)のバランスを1つの数値に集約するモデル選択の指標です。当てはまりの改善がパラメータ増加のペナルティを上回るときだけ複雑化が正当化されるため、過学習のリスクを抑えながら「ちょうどよい複雑さ」のモデルを選べます。候補モデルの中でAICが最も低いものを選ぶ——この使い方と式の2項の意味を確実に押さえましょう。
