「複雑で高性能そうなモデル」と「シンプルなモデル」、同じくらいの説明力なら、どちらを選ぶべきでしょうか。機械学習の世界には、この問いへの古くからの指針があります。それが「オッカムの剃刀」です。この記事では、この哲学的な指針の意味と、なぜ機械学習で過学習対策の考え方として採用されるのかを解説します。
📖 ひと言でいうと
オッカムの剃刀とは、「ある事柄を説明するためには、必要以上に多くを仮定するべきでない」という哲学的な指針で、機械学習では「同程度に説明できるならシンプルなモデルを選ぶべきだ」という形で採用されています。例えるなら、部屋の電気がつかないとき、まず「電球切れかな」と疑うのが自然で、「配線と分電盤とブレーカーが同時に故障した」とは考えないでしょう。説明に不要な仮定を剃刀でそぎ落とす——これがオッカムの剃刀のイメージです。
🖼 1枚でわかるオッカムの剃刀
📘 公式テキストの説明
「ある事柄を説明するためには、必要以上に多くを仮定するべきでない」という哲学的な指針。この考え方は、機械学習でもしばしば採用される。具体的には、過学習（Overfitting）を防ぐために、よりシンプルなモデルが好まれる場合が多い。過学習とは、モデルが訓練データに対して高すぎる精度で適合し、新しいデータに対する予測性能が落ちる現象を指す。シンプルなモデルは、必要な情報だけを用いて予測を行い、不必要な仮定や複雑さを排除する傾向がある。
かみ砕くと、もともとは科学や哲学の分野で「同じ現象を説明できる仮説が複数あるなら、仮定の少ない方を選べ」という思考の節約原理でした。機械学習に持ち込むと、「同じくらいデータを説明できるモデルが複数あるなら、パラメータや構造がシンプルな方を選べ」となります。その理由が過学習の防止です。複雑なモデルは訓練データの細部(ノイズ)にまで適合してしまい、新しいデータでの予測性能がかえって落ちるためです。
🔍 しっかり理解する
名前の由来と原理の意味
「オッカム」は14世紀イングランドの哲学者・神学者オッカムのウィリアムに由来します。彼が多用した「説明に不要な存在を増やすな」という論法が、後世に「剃刀(razor)」——不要な仮定を切り落とす道具——の比喩で呼ばれるようになりました。重要なのは、これは「シンプルな説明が常に真実だ」という主張ではなく、「余計な仮定を足す積極的な理由がないなら足すな」という思考の規律だという点です。
なぜ機械学習で「剃刀」が効くのか — 過学習との関係
機械学習のモデルは、複雑にするほど訓練データへの当てはまりを良くできます。極端な話、訓練データを丸暗記すれば訓練誤差はゼロにできます。しかしそれは「データを説明するために、データの数だけ仮定を積み上げた」ような状態で、ノイズまで法則と見なしてしまっています。こうしたモデルは新しいデータに対する予測性能が落ちる——これが過学習です。
オッカムの剃刀に従い、必要な情報だけを用いるシンプルなモデルを選べば、ノイズにまで適合する余地が減り、データの本質的なパターンだけが残りやすくなります。「訓練データでの成績が同じなら、シンプルな方が未知のデータに強い」という経験則の背後にある思想が、この剃刀なのです。
- 必要な情報だけを用いて予測する
- 不必要な仮定や複雑さを排除する傾向
- ノイズに引きずられにくく汎化しやすい
- 解釈や検証もしやすい
- 訓練データに高すぎる精度で適合
- ノイズまで「法則」として取り込む
- 新しいデータへの予測性能が落ちる(過学習)
- なぜその予測になるのか説明しにくい
思想を実装に落とした仕組みたち
オッカムの剃刀は精神論にとどまらず、機械学習の具体的な技術に形を変えて組み込まれています。代表例が正則化です。L1正則化・L2正則化は、損失関数に「パラメータの大きさへのペナルティ」を加えることで、モデルが必要以上に複雑になることを数式レベルで抑制します。また、モデル選択の指標であるAIC(赤池情報量規準)は、適合度にパラメータ数のペナルティ項を足して評価します。決定木の剪定(枝刈り)も、細かすぎる分岐という「余計な仮定」を切り落とす操作です。いずれも「複雑さには相応の対価を要求する」仕組みであり、剃刀の思想の実装形といえます。
💡 具体例で考える
12か月分の店舗売上データに曲線を当てはめる場面を考えます。データ点は12個。ここで11次の多項式を使えば、12点すべてを完璧に通る曲線が引けます。訓練誤差はゼロ、一見最強のモデルです。しかしその曲線はデータ点の間で不自然に暴れ、13か月目の予測はしばしば荒唐無稽な値になります。12点を「説明」するために、11次分の係数という大量の仮定を積んだ結果、月ごとの偶然のブレまで法則として暗記してしまったのです。
一方、「売上はゆるやかな上昇トレンド+夏場の山」程度の少ない仮定で表せるシンプルなモデル(たとえば低次の曲線)は、各点を完璧には通りませんが、13か月目の予測は現実的な範囲に収まります。「12点を全部通る」ことと「来月を当てる」ことは別物であり、後者のためには必要以上の仮定をそぎ落とすべき——オッカムの剃刀が機械学習で生きている典型例です。
⚠️ よくある誤解・紛らわしい用語
- 「シンプルなモデルが常に正しい」ではない: 剃刀は「必要以上に」仮定を増やすなという指針です。現象が本当に複雑なら、それを捉えるだけの複雑さは必要です。説明力を犠牲にしてまで単純化せよ、という意味ではありません。
- 過学習との関係の向き: オッカムの剃刀は過学習を「防ぐための指針」であり、過学習という現象そのものの名前ではありません。用語の定義問題で取り違えないようにしましょう。
- 未学習(アンダーフィッティング)との混同: 単純化しすぎて訓練データすら説明できない状態は未学習で、これは剃刀の推奨する状態ではありません。剃刀が薦めるのは「説明できる範囲で最もシンプル」です。
- ノーフリーランチ定理との混同: 「あらゆる問題で万能に優れたモデルは存在しない」というノーフリーランチ定理は、モデルの複雑さの選び方とは別の話題です。どちらもモデル選択の文脈で登場するため区別して覚えましょう。
📝 試験でのポイント
- 「ある事柄を説明するためには、必要以上に多くを仮定するべきでない」という原文に近い定義文を選ばせる出題が最有力です。
- 「機械学習では過学習を防ぐためにシンプルなモデルが好まれる」という応用面との結び付けが問われやすいポイントです。
- 過学習の定義(訓練データに高すぎる精度で適合し、新しいデータへの予測性能が落ちる)がセットで出題されることも想定されます。
- 正則化やAICなど「複雑さにペナルティを課す手法」との思想的なつながりを問う形式にも備えましょう。
📚 まとめ
オッカムの剃刀は、「説明のために必要以上に多くを仮定するべきでない」という哲学的な指針で、14世紀の哲学者オッカムのウィリアムに由来します。機械学習では、複雑なモデルが訓練データのノイズにまで適合して汎化性能を落とす過学習への処方箋として、「同じ説明力ならシンプルなモデルを選ぶ」という形で採用されています。正則化やAICといった具体的な仕組みにもこの思想が息づいており、「複雑さには対価を要求する」という一貫した考え方で整理しておきましょう。
