「ぶどう」の見分け方を新しく教えたら、それまで見分けられていた「りんご」と「みかん」がわからなくなった——ニューラルネットワークにはこんな困った性質があります。これが破壊的忘却です。この記事では、その仕組みと代表的な対策を整理します。
📖 ひと言でいうと
破壊的忘却(catastrophic forgetting)とは、ニューラルネットワークが新しいタスクを学習すると、以前に学習したタスクの知識を失ってしまう現象です。
例えるなら、1枚の黒板にすべてを書いて勉強しているようなものです。新しい単元を書き込むには、前の単元を消して上書きするしかありません。ニューラルネットワークの知識は重み(パラメータ)という共有の「黒板」に書かれているため、新しい学習がその重みを書き換えると、古い知識まで消えてしまうのです。
🖼 1枚でわかる破壊的忘却
📘 公式テキストの説明
ニューラルネットワークが新しいタスクを学習する際、以前に学習したタスクの知識を失ってしまう現象を指す。例えば、あるモデルが「りんご」と「みかん」を識別できるように訓練された後、新たに「ぶどう」を識別するよう学習させると、元々識別できていた「りんご」と「みかん」を正しく認識できなくなることがある。この問題は、特に継続学習（continual learning）や終身学習（lifelong learning）の文脈で重要視されている。人間は新しい情報を学習しても、過去の知識を保持し続けることができるが、ニューラルネットワークは新しいデータを学習する際、既存の知識が上書きされやすい傾向がある。破壊的忘却を軽減するための手法として、いくつかのアプローチが提案されている。正則化ベースの手法では、学習時に誤差関数に正則化項を追加し、以前のタスクで重要だったパラメータの変化を抑制する。代表的な手法にElastic Weight Consolidation（EWC）があり、これは過去のタスクで重要なパラメータを保持しつつ、新しいタスクを学習する方法である。また、リプレイを行う手法では、過去のタスクのデータを再利用して新しいタスクとともに学習することで、以前の知識を保持する。擬似リハーサル（pseudorehearsal）はその一例で、ランダムな入力パターンを生成し、それに対応する出力を教師信号として新しいタスクと同時に学習させる方法である。さらに、アーキテクチャベースの手法では、モデルの構造自体を変更し、新しいタスクに適応させる。例えば、ネットワークの一部を凍結（パラメータを固定）し、他の部分のみを新しいタスクの学習に使用することで、過去の知識を保持しつつ新しい情報を学習することが可能となる。破壊的忘却の原因として、ニューラルネットワークの上位層（出力に近い層）が大きく関与していることが指摘されている。上位層のパラメータが新しいタスクの学習によって大きく変化するため、以前のタスクの知識が失われやすい。また、タスク間の類似度も破壊的忘却に影響を与える。タスク間の類似度が中程度の場合、最も破壊的忘却が強くなる傾向があることが報告されている。
長い説明ですが、構造は「①定義と例(りんご・みかん→ぶどう)、②文脈(継続学習・終身学習)、③対策3系統(正則化/リプレイ/アーキテクチャ)、④原因(上位層の変化・タスク類似度)」の4ブロックです。特に対策3系統と代表手法名(EWC・擬似リハーサル)の対応は試験の狙いどころです。
🔍 しっかり理解する
なぜ忘れてしまうのか
ニューラルネットワークの知識は、ネットワーク全体で共有される重み(パラメータ)の値として保存されています。新しいタスクを学習するとき、勾配降下法は「新タスクの誤差を減らす」ことだけを目指して重みを更新します。このとき、以前のタスクにとって重要だった重みも容赦なく書き換えられるため、古い知識が失われます。
人間は新しいことを学んでも過去の知識を保ち続けられますが、ニューラルネットワークは既存の知識が上書きされやすい——この人間との対比が、継続学習(continual learning)や終身学習(lifelong learning)、つまり「タスクを次々に学び続けるAI」を実現するうえでの大きな壁として重要視されています。
原因の詳細として、公式テキストは2点を挙げています。①出力に近い上位層のパラメータが新タスクの学習で大きく変化し、以前の知識が失われやすいこと、②タスク間の類似度が中程度の場合に忘却が最も強くなる傾向が報告されていること、です。
3系統の対策——守る・思い出す・分ける
- 正則化ベース(守る) — 誤差関数に正則化項を追加し、以前のタスクで重要だったパラメータが大きく変わらないよう抑制します。代表がElastic Weight Consolidation(EWC)で、過去タスクで重要なパラメータを保持しつつ新タスクを学習します。「大事な黒板の部分には『消すな』と印を付ける」イメージです。
- リプレイ(思い出す) — 過去タスクのデータを再利用し、新タスクと一緒に学習することで知識を保ちます。過去データそのものを保存できない場合の変種が擬似リハーサル(pseudorehearsal)で、ランダムな入力を生成し、それに対する現在のモデルの出力を教師信号として新タスクと同時に学習させます。「復習を混ぜながら新単元を進める」勉強法に相当します。
- アーキテクチャベース(分ける) — モデル構造自体を工夫します。たとえばネットワークの一部を凍結(パラメータを固定)し、残りの部分だけを新タスクの学習に使えば、凍結部分の知識は守られます。「黒板を区画に分けて、書き換えてよい場所を限定する」発想です。
💡 具体例で考える
例1: 果物識別モデルへのクラス追加。 公式テキストの例の通り、「りんご」「みかん」を識別できるモデルに、ぶどうの画像だけで追加学習を行うと、ぶどうは覚える一方でりんご・みかんの識別精度が崩れることがあります。新データにりんご・みかんが含まれないため、モデルの重みがぶどう向けに一方的に書き換えられてしまうからです。リプレイの発想では、追加学習時にりんご・みかんの画像も混ぜて学習させます。
例2: 事前学習済みモデルのファインチューニング。 汎用知識を持つ事前学習済みモデルを特定タスク向けにファインチューニングしすぎると、せっかくの汎用的な知識が失われることがあります。層の一部を凍結して出力側だけを再学習する定石は、破壊的忘却のアーキテクチャベース対策そのものです。このつながりが、破壊的忘却が「転移学習・ファインチューニング」の節に置かれている理由です。
⚠️ よくある誤解・紛らわしい用語
- 過学習との混同 — 過学習は「訓練データに適合しすぎて未知データに弱くなる」現象、破壊的忘却は「新タスクの学習で過去タスクの知識を失う」現象です。問題の軸が異なります。
- 「単なる精度低下」ではない — 破壊的忘却は、新しい学習が原因で「以前できていたこと」ができなくなる点が本質です。
- 「人間と同じ物忘れ」ではない — 人間は新しい学習をしても過去の知識を保持できるのに対し、ニューラルネットワークは上書きされやすい、という対比で語られる概念です。
- EWC・擬似リハーサルの分類 — EWCは正則化ベース、擬似リハーサルはリプレイ系の手法です。対策名と系統の対応を入れ替えるひっかけに注意しましょう。
📝 試験でのポイント
- 「新しいタスクの学習により以前のタスクの知識を失う現象」という定義で破壊的忘却を選ばせる問題が典型です。
- 対策3系統(正則化ベース/リプレイ/アーキテクチャベース)と代表手法(EWC=正則化、擬似リハーサル=リプレイ、一部凍結=アーキテクチャ)の対応が問われやすいポイントです。
- 「継続学習・終身学習の文脈で重要視される」という位置づけの正誤判定に備えましょう。
- 原因に関する記述(上位層の変化が大きく関与/タスク間類似度が中程度で忘却が最も強い)も細かい正誤問題の材料になり得ます。
📚 まとめ
- 破壊的忘却は、ニューラルネットワークが新タスクを学ぶ際に過去タスクの知識を失う現象です。
- 知識が重みとして共有されているため、新しい学習による上書きが起こりやすく、特に上位層の変化が大きく関与します。
- 対策は正則化ベース(EWC)、リプレイ(擬似リハーサル)、アーキテクチャベース(一部凍結)の3系統です。
- 継続学習・終身学習を実現するうえでの中心課題であり、ファインチューニング実務でも意識すべき現象です。
