学習は長く続ければ良いというものではありません。ある時点を過ぎると、モデルは訓練データを丸暗記し始め、未知のデータへの性能はむしろ悪化します。その「悪化が始まる直前」で学習を打ち切るシンプルかつ強力なテクニックが早期終了（early stopping）です。ヒントンが残した有名な言葉や二重降下現象まで、試験に出るポイントを押さえましょう。
📖 ひと言でいうと
早期終了とは、学習中にテストデータ（検証データ）に対する誤差を監視し、誤差が減少から増加に転じた時点を過学習の始まりとみなして、そこで学習を止める手法です。パンをオーブンで焼く場面に例えると、「長く焼くほど良い」わけではなく、焦げ始める直前がベストの焼き上がりです。早期終了は、モデルの「焼き加減」を誤差の推移から見極めて取り出す技術といえます。
🖼 1枚でわかる早期終了
📘 公式テキストの説明
学習が進むにつれてテストデータに対する誤差関数の値は、ある時点から減少から増加に転じる（悪化する）。この上がり始めが過学習の始まりと考え、その時点が最適な解であるとして学習を止めることを早期終了という。ジェフリー・ヒントンは早期終了（early stopping）のことを"Beautiful FREE LUNCH"と表現。ノーフリーランチ定理という、「あらゆる問題で性能の良い汎用最適化戦略は理論上不可能」であることを示す定理を意識して発せられた言葉。最近の研究では一度テストデータに対する誤差が増えた後、再度誤差が減っていくという二重降下現象（double descent phenomenon）も確認されており、どのタイミングで学習を止めれば良いのかについては慎重に検討しなくてはならない。
かみ砕くと、学習を長く続けるほど訓練データへの当てはまりは良くなりますが、学習に使っていないテストデータでの誤差は、ある時点から逆に増え始めます。この転換点が過学習のサインなので、そこで止めたモデルを採用しよう、というのが早期終了です。シンプルなのにどんなモデルにも効く手軽さから、ヒントンは「タダ飯（フリーランチ）のように美しい」と表現しました。
🔍 しっかり理解する
誤差カーブの動きで理解する
横軸に学習の進行（エポック数）、縦軸に誤差をとると、訓練データの誤差はほぼ一貫して下がり続けます。一方テストデータの誤差はU字を描き、底を打ってから上昇に転じます。この底が「汎化性能が最も高い瞬間」であり、早期終了はここを狙って学習を止めます。実務では検証データの誤差を毎エポック記録し、「一定回数連続で改善しなかったら打ち切って、最良時点の重みに戻す」という形で自動化するのが一般的です。
なぜ "Beautiful FREE LUNCH" なのか
ノーフリーランチ定理は「あらゆる問題で性能の良い汎用最適化戦略は理論上不可能」、つまり「どんな問題にも効く万能の方法（タダ飯）は存在しない」ことを示す定理です。ところが早期終了は、モデルの種類や問題をほとんど選ばず、誤差を監視して止めるだけで過学習を抑えられます。まるで存在しないはずのタダ飯のようだ——ヒントンの"Beautiful FREE LUNCH"は、この定理を意識した逆説的な賛辞です。
二重降下現象という新しい課題
早期終了の前提は「テスト誤差は一度上がり始めたらそのまま悪化する」というU字型の挙動です。ところが最近の研究では、誤差が一度増えた後、学習を続けると再び減っていく二重降下現象（double descent phenomenon）が確認されています。最初の上昇で止めてしまうと、その先にあったさらに良い解を逃す可能性があるわけです。このため、どのタイミングで学習を止めるべきかは慎重に検討しなくてはならない、というのが現在の理解です。
💡 具体例で考える
画像分類モデルを100エポック学習させる設定で、検証誤差が40エポック目に最小となり、その後じわじわ上昇したとします。早期終了を仕込んでいれば、「10エポック連続で改善なし」を検知した50エポック目あたりで学習を打ち切り、最良だった40エポック時点の重みを採用できます。残り50エポック分の計算時間も節約でき、過学習防止と計算コスト削減が同時に達成されます。
主要なディープラーニングフレームワークには、この仕組みがEarlyStoppingという名前の機能としてそのまま用意されています。監視する指標（検証損失など）と「何エポック改善が続かなかったら止めるか」（patienceと呼ばれます）を指定するだけで使える、実務でも定番の道具です。
⚠️ よくある誤解・紛らわしい用語
- 「学習は長いほど良い」は誤り: 訓練誤差は下がり続けても、テスト誤差はある時点から悪化します。早期終了はまさにこのギャップ（過学習）への対策です。
- 監視するのは訓練誤差ではない: 止めどきの判断に使うのは、学習に使っていないテストデータ（検証データ）に対する誤差です。訓練誤差を見ていても過学習の始まりはわかりません。
- ドロップアウトや正則化との関係: いずれも過学習対策ですが、ドロップアウトはネットワークの一部を無効化しながら学習する手法、L2正則化などは重みに罰則を課す手法、早期終了は「学習を止めるタイミング」で制御する手法です。アプローチが異なります。
- 「早期終了すれば必ず最良のモデルが得られる」は言い過ぎ: 二重降下現象のように、誤差が再び下がるケースも確認されており、止めどきの判断には慎重さが求められます。
📝 試験でのポイント
- 「テストデータに対する誤差が増加に転じた時点で学習を止める手法」という定義から早期終了を選ばせる形式が基本です。「過学習の対策」というくくりでの出題も想定されます。
- ジェフリー・ヒントン＝"Beautiful FREE LUNCH"、およびその背景のノーフリーランチ定理（あらゆる問題で性能の良い汎用最適化戦略は理論上不可能）は、人名・用語の組み合わせ問題の定番想定です。
- 二重降下現象（一度誤差が増えた後、再度減っていく）という比較的新しいキーワードも、早期終了の注意点として問われる可能性があります。
📚 まとめ
早期終了は、テストデータの誤差が減少から増加へ転じる「過学習の始まり」を検知し、その時点で学習を打ち切る過学習対策です。手軽さと汎用性からヒントンは"Beautiful FREE LUNCH"と呼びました（ノーフリーランチ定理を踏まえた表現）。ただし二重降下現象の存在により、止めどきの判断は慎重に、という但し書きまで含めて覚えておきましょう。
