【G検定】勾配降下法とは？誤差を坂道のように下る学習の基本原理を解説

ニューラルネットワークが「学習する」とき、その内部で実際に動いているのが勾配降下法です。誤差という坂道を一歩ずつ下って最も低い場所を探す、というシンプルな原理でありながら、ディープラーニング全体を支える心臓部です。この記事では、その仕組みと限界（局所最適解・プラトー・学習率の問題）まで解説します。

📖 ひと言でいうと

勾配降下法とは、コスト関数（損失関数）の勾配、つまり傾きを手がかりに、コストが小さくなる方向へパラメータを繰り返し更新していく最適化手法です。濃い霧の中で山を下りる登山者に例えると、遠くの景色は見えなくても、足元の傾きを確かめて「下り坂の方向」へ一歩ずつ進めば、やがて低い場所にたどり着けます。この「足元の傾き」が勾配、「一歩の幅」が学習率にあたります。

🖼 1枚でわかる勾配降下法

勾配降下法＝誤差の坂を下る最適化

目的 — コスト関数（損失関数）を最小にするパラメータを探す
手がかり — 勾配＝コスト関数の微分値（関数の変化量）
方法 — 勾配を計算し、コストが減る方向へ更新を繰り返す
限界 — ローカルミニマムやプラトーで最適解に届かない場合がある
カギ — 学習率の設定が学習の効率と精度を左右する

つくもち屋「G検定対策」SUMMARY

📘 公式テキストの説明

勾配降下法とは、コスト関数（または損失関数）の勾配に沿って下ることで目的の解を見つける最適化手法。勾配とは関数の変化量を表し、ここではコスト関数の微分値にあたる。この手法は、初期点から始め、コスト関数の勾配を計算し、勾配方向にパラメータを更新することでコストが最小になるように繰り返し進む。最小値や停止条件が満たされるまでこの手順を続ける。ただし、勾配降下法には限界も存在する。ローカルミニマムやプラトーといった問題により、必ずしも最適解に到達する保証はない。また、学習率が適切でない場合、学習が発散したり、収束が遅くなったりすることがあるため、これを適切に設定することが重要で、学習の効率や精度に影響を与える。

かみ砕くと、モデルの予測がどれだけ外れているかを数値化したものがコスト関数で、その傾き（微分値）が勾配です。勾配は「どちらへ動けばコストが増えるか」を示すので、その逆方向へパラメータを動かせばコストは減ります。これを初期点から停止条件まで延々と繰り返すのが勾配降下法です。ただし、たどり着いた場所が本当に一番低い谷（大域最適解）だという保証はなく、学習率の設定次第で発散や停滞も起こる、という限界も明記されています。

🔍 しっかり理解する

学習の1サイクルを流れで見る

初期点を決める

パラメータの初期値からスタート

→

勾配を計算

コスト関数の微分値を求める

→

パラメータ更新

コストが減る方向へ学習率の分だけ移動

→

収束判定

停止条件を満たすまで繰り返す

更新式はプレーンに書くと「新しいパラメータ＝現在のパラメータ − 学習率 × 勾配」です。ニューラルネットワークでは、この勾配を出力層から入力層へ向けて効率よく計算する仕組みが誤差逆伝播法で、「誤差逆伝播法で勾配を求め、勾配降下法で更新する」という分業になっています。

限界1: ローカルミニマムとプラトー

誤差関数が複雑な形をしていると、真の最小値（大域最適解）ではない局所的なくぼみ＝ローカルミニマム（局所最適解）で更新が止まってしまうことがあります。勾配降下法は足元の傾きしか見ないため、くぼみの底では勾配がゼロになり、そこがゴールだと勘違いするのです。また、傾きがほとんどない平坦な領域＝プラトーでは、勾配が小さすぎて学習が長く停滞します。高次元では、ある方向には極小・別の方向には極大となる鞍点も停滞の原因になります。

限界2: 学習率への敏感さ

学習率が大きすぎると、谷底を飛び越えて反対側へ行き来し、コストがむしろ増えて発散することがあります。小さすぎると1歩が細かすぎて収束が非常に遅くなります。この調整の難しさに対処するため、慣性を加えて停滞を乗り越えるモーメンタムや、学習率を自動調整するAdaGrad・RMSprop・Adamといった発展的な最適化手法が生まれました。これらはすべて勾配降下法の改良版という位置づけです。

💡 具体例で考える

住宅価格を予測する回帰モデルを考えます。最初はでたらめな重みなので予測は大外れで、コスト関数の値は大きいはずです。勾配降下法は「重みを少し増やしたら誤差が増えるか減るか」を勾配から読み取り、誤差が減る側へ重みを少しずつ動かします。これを数千回繰り返すうちに、予測誤差が小さいパラメータの組へと収束していきます。

またディープラーニングの実務では、全データで勾配を計算する基本形（バッチ勾配降下法）は計算が重いため、ランダムに選んだ一部のデータで勾配を近似する確率的勾配降下法（SGD）や、その中間のミニバッチ勾配降下法が使われます。原理はどれも同じ「勾配に沿って下る」であり、勾配計算に使うデータの量が違うだけです。この意味で、勾配降下法は個別の道具というより「誤差の坂を下る」という設計思想そのものであり、最適化手法の章に登場する多くの用語はその派生形として位置づけられます。

⚠️ よくある誤解・紛らわしい用語

💡 ポイント

「勾配降下法は必ず最適解に到達する」は誤り: ローカルミニマムやプラトーがあるため、到達の保証はありません。「保証はない」という表現まで含めて覚えましょう。
勾配降下法と誤差逆伝播法の混同: 誤差逆伝播法は勾配を効率的に「計算する」手法、勾配降下法はその勾配を使ってパラメータを「更新する」手法です。役割が異なります。
確率的勾配降下法（SGD）との関係: SGDは勾配降下法の一種で、勾配計算をランダム抽出したデータで近似する方式です。別系統のアルゴリズムではありません。
「勾配に沿って上る」ではない: コストを最小化したいので、勾配の逆方向（下る方向）へ進みます。最大化問題で上る場合は勾配上昇法と呼び分けられます。

📝 試験でのポイント