学習率、バッチサイズ、エポック数——ディープラーニングの解説に必ず登場するこれらの設定値をまとめて「ハイパーパラメータ」と呼びます。モデルが自動で学習する「パラメータ」との違いは、G検定の頻出ポイントです。
📖 ひと言でいうと
ハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するために、学習の前に人間(または探索アルゴリズム)が外部から設定する項目のことです。学習によってモデル自身が獲得する重みなどの「パラメータ」とは区別されます。
身近な例えでいえば、炊飯器の「炊き込みモード・水加減・予約時間」のような設定です。ご飯の炊きあがり(モデルの学習結果)は炊飯器が自動でやってくれますが、どのモードでどんな設定にするかは炊く前に人が決める必要があり、その良し悪しが仕上がりを大きく左右します。
🖼 1枚でわかるハイパーパラメータ
📘 公式テキストの説明
機械学習アルゴリズムの挙動を制御する外部設定項目を指す。設定（ハイパーパラメータの値）によって、モデルの精度、過学習や未学習のリスク、計算負荷などが影響を受ける。誤差関数においては、誤りをどの程度許容するか正則化の強度を人が事前に手動で設定する場合もあるが、最適なハイパーパラメータを自動で選択する手法（例：グリッドサーチ、ランダムサーチ、ベイズ最適化）も存在する。
「外部設定項目」という言葉がポイントです。モデルの内部で学習によって決まる値ではなく、学習という作業を始める前に外から与えておく値、という意味です。公式説明では例として、誤差関数における正則化の強度(誤りをどの程度許容するか)が挙げられています。正則化を強くすれば過学習しにくくなる一方、効きすぎると未学習に傾く——このように、ハイパーパラメータの設定は精度とリスクの両方に直結します。
また、手動で設定する方法だけでなく、グリッドサーチ・ランダムサーチ・ベイズ最適化といった自動探索の手法があることも明記されています。この3手法の名前はセットで覚えておきましょう。
🔍 しっかり理解する
パラメータとハイパーパラメータの決定的な違い
初学者が最も混同しやすいのが、名前のよく似た「パラメータ」との違いです。ニューラルネットワークにおけるパラメータの代表は重みとバイアスで、これらは誤差逆伝播法と勾配降下法によって、学習の過程でモデル自身が自動的に更新していきます。一方、ハイパーパラメータは「その学習をどう行うか」を決める設定であり、学習の中では変化しません。
- 例: 重み、バイアス
- 学習の過程でモデルが自動的に更新する
- 訓練データから値が決まる
- 数は数万〜数十億にもなる
- 例: 学習率、バッチサイズ、エポック数、正則化の強度
- 学習を始める前に外部から設定する
- 人手または探索手法で決める
- 学習中は基本的に固定される
代表的なハイパーパラメータには次のようなものがあります。いずれも「学習のやり方・モデルの形」を決める値である点に注目してください。
- 学習率 — 重みを1回の更新でどれだけ動かすか
- バッチサイズ — 1回の更新に使うデータ件数
- エポック数 — 訓練データ全体を何周学習するか
- 正則化の強度 — 過学習をどの程度抑えるか
- 層の数・ユニット数、ドロップアウト率 — ネットワークの構造に関する設定
なぜ調整が難しく、自動化手法が生まれたのか
ハイパーパラメータは互いに影響し合います。たとえば学習率が大きすぎると誤差が発散し、小さすぎると学習が遅く局所的な停滞から抜け出しにくくなります。さらにバッチサイズを変えれば適切な学習率も変わる、というように組み合わせの問題になるため、人手の試行錯誤だけで最適値を見つけるのは大変です。
そこで公式テキストにある3つの自動調整手法が使われます。グリッドサーチは候補値の全組み合わせを総当たりで試す方法、ランダムサーチは指定範囲からランダムに選んで試す方法、ベイズ最適化は過去の試行結果から「次に有望そうな設定」を推定して効率的に探索する方法です。総当たりは確実ですが組み合わせが増えると計算量が爆発するため、高次元の探索ではランダムサーチやベイズ最適化が有利になります。
なお、調整の良し悪しは検証データ(バリデーションデータ)での性能で判断するのが原則です。テストデータを調整に使ってしまうと、最終評価が当てにならなくなるからです。
💡 具体例で考える
画像分類モデルを作る場面を考えてみましょう。同じネットワーク構造・同じデータでも、学習率を0.1にすると誤差が乱高下して収束せず、0.0001にすると1晩回しても精度が上がりきらない、ということが実際に起こります。適切な学習率(たとえば0.001前後)を見つけられるかどうかで、最終精度が数%変わることも珍しくありません。「モデルの設計は同じなのに、設定だけで結果が別物になる」のがハイパーパラメータの怖さです。
もう1つの例が正則化の強度です。売上予測モデルで過学習が疑われたとき、正則化を強めると訓練データへの当てはまりは下がる一方、未知データへの予測は改善することがあります。しかし強めすぎると今度は訓練データすら表現できない未学習に陥ります。公式テキストの「過学習や未学習のリスクが影響を受ける」とは、まさにこの綱引きのことです。
⚠️ よくある誤解・紛らわしい用語
- 「パラメータ」との混同 — 重み・バイアスは学習で決まるパラメータ、学習率などは事前に決めるハイパーパラメータです。試験ではこの区別を突く選択肢が定番です。
- 「学習中に自動で最適化される」という誤解 — ハイパーパラメータは勾配降下法では更新されません。自動化する場合も、グリッドサーチ等で「学習を何度も回して外側から探索する」形になります。
- チューニングにテストデータを使う誤り — ハイパーパラメータの選択は検証データで行い、テストデータは最終評価まで温存するのが原則です。
- ノーフリーランチの定理との関係 — どんな問題にも通用する万能の設定・手法は存在しないため、問題ごとの調整が必要になります。同じ節のキーワードとして関連づけて理解しましょう。
📝 試験でのポイント
- 「学習によって更新されるものはどれか/事前に設定するものはどれか」という形で、重み(パラメータ)とハイパーパラメータを仕分けさせる問題が典型です。
- 自動調整手法としてグリッドサーチ・ランダムサーチ・ベイズ最適化の3つを挙げられるようにしておきましょう。各手法の探索方式の違いも問われ得ます。
- 「ハイパーパラメータの設定は精度・過学習や未学習のリスク・計算負荷に影響する」という公式テキストの記述は、正誤判定でそのまま使われ得る表現です。
- 学習率・バッチサイズ・エポック数などの具体例を、ハイパーパラメータに該当するものとして選ばせる出題も想定されます。
📚 まとめ
ハイパーパラメータは、機械学習アルゴリズムの挙動を制御するために学習前に設定する外部項目で、学習率・バッチサイズ・エポック数・正則化の強度などが代表例です。学習でモデルが自動獲得する重み(パラメータ)とは明確に区別されます。設定次第で精度・過学習や未学習のリスク・計算負荷が大きく変わるため、グリッドサーチ・ランダムサーチ・ベイズ最適化といった自動探索手法も活用されます。「事前に外から決める値」という一点をまず押さえましょう。
