【G検定まとめ2026】31.転移学習・ファインチューニング

1. 転移学習とファインチューニングの基礎的な知識を理解する

ディープラーニングの分野では、モデルの学習に多くの計算資源と時間を要することがあります。しかし、すでに学習済みのモデルを活用することで、新しいタスクに効率的に適応させる方法があります。それが転移学習とファインチューニングです。事前学習済みモデルの活用は、この方法の重要な要素です。ImageNetなどの大規模なデータセットで学習されたモデルは、多くの場合公開されており、誰でも利用できます。これらのモデルは一般的な特徴を学習しているため、別のタスクにも応用できる可能性があります。転移学習の仕組みは、事前学習済みモデルの出力層を新しいタスクに合わせて変更することです。例えば、1000クラスの分類を行うモデルを10クラスの分類タスクに適用する場合、出力層のみを10クラスに対応するように変更し、その層だけを学習します。これにより、少ないデータ量と計算資源で新しいタスクに対応できるようになります。

一方、ファインチューニングは転移学習をさらに進めた方法です。追加した出力層だけでなく、モデル全体の重みを更新します。これにより、新しいタスクにより適した特徴抽出が可能になります。ただし、元のモデルの性能を維持しつつ、新しいタスクに適応させるバランスが重要です。転移学習やファインチューニングの大きな利点は、比較的少ないデータ量で効果的な学習ができることです。一般的に数百枚程度の画像があれば十分な場合が多いですが、さらに少ないデータでの学習方法も研究されています。

例えば、Few-shot学習は数枚程度の画像で学習を行う方法です。その中でも、MAMLという手法は、モデルの重みそのものではなく、重みの更新方法自体を学習する「メタ学習」と呼ばれるアプローチを取ります。また、One-shot学習は1つのデータだけで学習を試みる方法です。これらの手法は、特に自然言語処理の分野でよく用いられています。

2. どのような場面やタスクにおいて、転移学習・ファインチューニングが効果を発揮するのか理解する

転移学習とファインチューニングは、ディープラーニングの分野で非常に有用な手法です。これらの技術は、既存のモデルの知識を新しいタスクに応用することで、学習効率を高め、少ないデータでも高い精度を実現することができます。転移学習は、ImageNetのような大規模なデータセットで事前学習されたモデルを利用し、新しい問題に適用する際に特に効果を発揮します。例えば、1000クラスの分類モデルを、異なるクラス数や定義を持つ新しい問題に適用する場合、最後の出力層を変更し、その層だけを学習することで、効率的に新しいタスクに対応できます。

一方、ファインチューニングは、転移学習をさらに一歩進めた手法です。追加した層だけでなく、モデル全体の重みを更新することで、より細かな調整が可能になります。これは、適用したい問題が事前学習されたデータセットとかなり異なる場合に特に有効です。これらの手法は、学習データが比較的少ない場合でも効果を発揮します。通常、数百枚程度の画像があれば十分な場合が多いですが、さらに少ないデータでの学習も可能です。Few-shot学習やOne-shot学習と呼ばれる手法では、数枚から1枚程度の画像でも学習が可能です。

学習設定	各クラスあたりのラベル付き例	典型的な実現方法	代表例・応用領域
Few-shot 学習	数枚〜数十枚	大規模事前学習モデルの微調整、メタ学習 (MAML 等)	新カテゴリ追加が多い画像分類、専門ドメインの NLP
One-shot 学習	1 枚	大規模事前学習モデル + 1 例提示、距離学習	顔認証、人物再識別、新クラスの即時識別
Zero-shot 学習	0 枚 (タスク説明のみ)	テキストと画像を結ぶ基盤モデル (CLIP 等)、プロンプト	テキスト指示による画像分類・生成、未見ラベルへの対応
(参考) 通常の教師あり学習	数百〜数百万枚	スクラッチ学習	ImageNet 学習など大規模ベンチマーク

注: Zero-shot は 032 マルチモーダル章でも詳説される。

また、自然言語処理の分野でも、これらの手法は広く活用されています。大規模な言語モデルを基にして、特定のタスクや分野に適応させる際に転移学習やファインチューニングが使用されます。転移学習やファインチューニングを行う際は、事前学習済みモデルの選択も重要です。適用したいタスクと似た性質を持つデータセットで学習されたモデルを選ぶことで、より効果的な転移が可能になります。

これらの手法は、新しいタスクに対して迅速に適応できるため、時間とリソースの節約にもつながります。完全に新しいモデルを一から学習させるよりも、既存の知識を活用することで、より効率的に高性能なモデルを構築できるのです。ただし、転移学習やファインチューニングを行う際は、元のモデルの性質や新しいタスクの特性を十分に理解し、適切な方法を選択することが重要です。場合によっては、モデルの一部を凍結し、一部のみを更新するなど、細かな調整が必要になることもあります。

3. 転移学習・ファインチューニングによって、様々なタスクにおいて大幅な精度向上を果たした代表的なモデルについて理解する

画像認識モデルの転移学習：画像認識の分野では、ImageNetデータセットで事前学習されたモデルが注目を集めています。このモデルは1000種類の物体を識別する能力を持っていますが、その応用範囲は驚くほど広いのです。転移学習を活用することで、このモデルは全く異なる分類タスクにも適用できます。例えば、医療画像の診断や衛星画像の分析など、高度な専門知識が必要な分野でも使用されています。転移学習の具体的な方法として、事前学習済みモデルの出力層を新しいタスクに合わせて変更し、その層のみを学習させる手法があります。この方法により、限られたデータ量や計算リソースでも高い精度を実現できるようになりました。

ファインチューニングの活用：ファインチューニングは、追加した層だけでなくモデル全体の重みを更新する手法です。この方法は、適用先の問題が事前学習したデータセットと大きく異なる場合に特に効果を発揮します。ただし、過学習のリスクがあるため、学習率の調整などに注意を払う必要があります。

自然言語処理における転移学習とファインチューニング：自然言語処理の分野では、GPTやBERTといった大規模言語モデルが登場し、転移学習とファインチューニングの有効性を示しました。これらのモデルは、膨大なテキストデータで事前学習を行い、その後、特定のタスク向けにファインチューニングすることで、多様な言語処理タスクで高い性能を発揮しています。

少量データでの学習手法：Few-shot学習やOne-shot学習といった手法も開発され、極めて少量のデータでも効果的に学習できるようになりました。これらの技術により、データの収集が困難な分野でもAI技術の応用が可能になっています。

半教師あり学習と自己教師あり学習：半教師あり学習や自己教師あり学習といった手法も、転移学習やファインチューニングと組み合わせることで、ラベル付けされていないデータも有効活用できるようになりました。これにより、より少ないラベル付きデータでも高い精度を達成できるようになっています。

---

キーワード解説

Few-shot

転移学習やファインチューニングの分野では、少量のデータでモデルを効果的に学習させる手法として「Few-shot学習」が注目されている。Few-shot学習は、各クラスに対して数枚から数十枚程度のラベル付きサンプルが存在する状況でモデルを学習させる手法である。One-shot学習が極端なケースであるのに対し、Few-shot学習はもう少し多くのサンプルを用いるが、それでも従来の学習手法に比べて非常に少ないデータで学習を行う。この手法は、データ収集が困難な状況や、新しいクラスが頻繁に追加される状況で特に有用である。Few-shot学習を実現するためには、事前に大規模なデータセットで学習されたモデルを活用することが一般的である。例えば、画像認識の分野では、既存の大規模な画像データセットで学習されたモデルを基に、新しいクラスの少数のサンプルを用いてモデルを適応させることで、少ないデータでも高い認識性能を達成することが可能となる。また、自然言語処理の分野でも、事前に大量のテキストデータで学習された大規模言語モデルを用いて、少数の例示（プロンプト）を与えることで、新しいタスクに適応させることが可能である。このように、事前学習されたモデルを活用することで、少ないデータからでも効果的に学習を行うことができる。

One-shot

One-shot学習は、各クラスに対して1つのラベル付きサンプルしか存在しない状況でモデルを学習させる手法である。例えば、ある画像分類タスクで新しいカテゴリの画像が1枚しかない場合、その1枚の画像からモデルがそのカテゴリを正しく認識できるようにすることが求められる。この手法は、少数のサンプルから学習する人間の能力を模倣することを目的としている。One-shot学習は、従来の大量のデータを必要とする学習方法とは異なり、限られたデータから高い性能を引き出すことを目指している。これを実現するためには、事前に大規模なデータセットで学習されたモデルを活用することが一般的である。例えば、自然言語処理の分野では、事前に大量のテキストデータで学習された大規模言語モデルに対して、1つの例示を与えるだけで新しいタスクに適応させることが可能である。

自己教師あり学習

自己教師あり学習（Self-Supervised Learning）は、ラベル付けされていないデータから有用な特徴を学習する手法である。この手法は、データ自体に内在する構造やパターンを利用し、擬似的なラベルを生成してモデルを訓練する。例えば、画像の一部を隠し、その隠された部分を予測するタスクを設定することで、モデルは画像全体の特徴を理解するようになる。このようにして得られたモデルは、ラベル付きデータが乏しい状況でも高性能を発揮することが期待されている。転移学習（Transfer Learning）は、あるタスクで学習した知識を別の関連するタスクに適用する手法である。具体的には、事前に大規模なデータセットで学習したモデルを、新たなタスクに適応させる際に再利用する。これにより、学習時間の短縮や少量のデータでの高精度なモデル構築が可能となる。ファインチューニング（Fine-Tuning）は、転移学習の一環として、事前学習済みモデルを新しいタスクに合わせて微調整するプロセスを指す。具体的には、モデルの一部または全体のパラメータを新しいデータセットで再学習し、ターゲットタスクに最適化する。自己教師あり学習で事前学習されたモデルは、転移学習やファインチューニングの際に有用である。ラベルなしデータから学習した特徴表現を活用することで、ラベル付きデータが限られている状況でも高性能なモデルを構築できる。例えば、自己教師あり学習で画像の特徴を学習したモデルを、特定の物体検出タスクにファインチューニングすることで、少量のラベル付きデータでも高い精度を達成することが可能となる。

事前学習

転移学習やファインチューニングにおける「事前学習」は、モデルが新たなタスクに適応する際の基盤となる重要なプロセスである。事前学習とは、大規模なデータセットを用いてモデルを初期的に訓練し、一般的な特徴やパターンを学習させる手法を指す。この段階で得られた知識は、後続の特定タスクへの適応を容易にする。例えば、画像認識モデルでは、多数の画像を用いてエッジやテクスチャなどの基本的な視覚的特徴を学習する。このようにして得られたモデルは、特定の画像分類タスクにおいても高い性能を発揮することが期待できる。事前学習の利点として、学習時間の短縮や少量のデータでも高い性能を達成できる点が挙げられる。また、事前学習済みモデルを活用することで、計算資源の節約や新たなタスクへの迅速な適応が可能となる。

事前学習済みモデル

大規模なデータセットを用いてあらかじめ訓練されたモデルを指す。これらのモデルは、画像認識や自然言語処理などの特定のタスクに対して高い性能を発揮する。例えば、ResNetやInceptionは画像分類で、BERTやGPTは自然言語処理で広く利用されている。事前学習済みモデルを活用することで、開発者は大量のデータや計算資源を必要とせずに、高度な機械学習モデルを構築できる。さらに、これらのモデルを特定の用途に合わせて微調整（ファインチューニング）することで、より高い精度を実現することが可能となる。このアプローチは、計算資源が限られた環境や専門知識が不足している状況でも有効であり、ディープラーニングの応用範囲を広げる一助となっている。

破壊的忘却

ニューラルネットワークが新しいタスクを学習する際、以前に学習したタスクの知識を失ってしまう現象を指す。例えば、あるモデルが「りんご」と「みかん」を識別できるように訓練された後、新たに「ぶどう」を識別するよう学習させると、元々識別できていた「りんご」と「みかん」を正しく認識できなくなることがある。この問題は、特に継続学習（continual learning）や終身学習（lifelong learning）の文脈で重要視されている。人間は新しい情報を学習しても、過去の知識を保持し続けることができるが、ニューラルネットワークは新しいデータを学習する際、既存の知識が上書きされやすい傾向がある。破壊的忘却を軽減するための手法として、いくつかのアプローチが提案されている。正則化ベースの手法では、学習時に誤差関数に正則化項を追加し、以前のタスクで重要だったパラメータの変化を抑制する。代表的な手法にElastic Weight Consolidation（EWC）があり、これは過去のタスクで重要なパラメータを保持しつつ、新しいタスクを学習する方法である。また、リプレイを行う手法では、過去のタスクのデータを再利用して新しいタスクとともに学習することで、以前の知識を保持する。擬似リハーサル（pseudorehearsal）はその一例で、ランダムな入力パターンを生成し、それに対応する出力を教師信号として新しいタスクと同時に学習させる方法である。さらに、アーキテクチャベースの手法では、モデルの構造自体を変更し、新しいタスクに適応させる。例えば、ネットワークの一部を凍結（パラメータを固定）し、他の部分のみを新しいタスクの学習に使用することで、過去の知識を保持しつつ新しい情報を学習することが可能となる。破壊的忘却の原因として、ニューラルネットワークの上位層（出力に近い層）が大きく関与していることが指摘されている。上位層のパラメータが新しいタスクの学習によって大きく変化するため、以前のタスクの知識が失われやすい。また、タスク間の類似度も破壊的忘却に影響を与える。タスク間の類似度が中程度の場合、最も破壊的忘却が強くなる傾向があることが報告されている。

半教師あり学習

ディープラーニングの分野では、ラベル付きデータの収集が困難な場合が多い。この課題に対処するために、半教師あり学習が注目されている。半教師あり学習は、少量のラベル付きデータと大量のラベルなしデータを組み合わせてモデルを訓練する手法である。これにより、ラベル付けのコストを削減しつつ、モデルの性能向上が期待できる。具体的な手法として、Pseudo-Labelが挙げられる。これは、既存のモデルを用いてラベルなしデータに対して予測を行い、信頼度の高い予測結果を擬似的なラベルとして再学習に利用する方法である。この手法は、モデルの出力を1-hot化し、エントロピーを最小化する方向で学習を進める。ただし、擬似ラベルの品質がモデルの性能に影響を与えるため、適切な信頼度の閾値設定が重要となる。また、Consistency Regularizationという手法も存在する。これは、ラベルなしデータに対して入力データやモデルのパラメータに摂動を加えた際に、モデルの出力が一貫性を保つように学習を行う方法である。この手法により、モデルのロバスト性が向上し、ラベルなしデータの情報を効果的に活用できる。半教師あり学習は、自然言語処理や画像認識など、ラベル付けが特に困難な分野で有用性が高い。例えば、医療画像の解析では、専門家によるラベル付けが必要であり、コストや時間の制約が大きい。このような場合に、半教師あり学習を活用することで、少量のラベル付きデータから高性能なモデルを構築することが可能となる。さらに、半教師あり学習は、データ拡張や転移学習と組み合わせることで、より効果的な学習が期待できる。データ拡張は、既存のデータに対して変換やノイズを加えることでデータ量を増やす手法であり、転移学習は、他のタスクで学習したモデルを再利用する方法である。これらの手法と半教師あり学習を組み合わせることで、ラベル付きデータが少ない状況でも高性能なモデルを構築できる。半教師あり学習の適用にあたっては、ラベルなしデータの選択や擬似ラベルの品質管理が重要である。適切なデータ選択とモデルの評価を行うことで、モデルの過学習を防ぎ、汎化性能を向上させることが可能となる。また、最新の研究では、自己教師あり学習や弱教師あり学習といった関連手法も提案されており、これらを組み合わせることで、さらなる性能向上が期待されている。