【E資格】半教師あり学習と自己教師あり学習｜Self-Training・Co-Training・対照学習

ラベル付きデータの収集には大きなコストがかかるため、少量のラベル付きデータと大量のラベルなしデータを組み合わせる「半教師あり学習」や、ラベルなしデータだけから疑似的なタスクで表現を学ぶ「自己教師あり学習」が重要になっています。この項目では、Self-Training・Co-Training・Contrastive learningという代表的手法を学びます。

📖 概要

半教師あり学習は、少量のラベル付きデータと大量のラベルなしデータの両方を使って教師あり学習の性能を高める枠組みです。ラベルなしデータが持つ「データ分布の形」の情報(例えば、決定境界はデータが密集する領域を避けて通るべき、という仮定)を活用することで、ラベル付きデータだけの学習よりも良い識別器が得られることを狙います。代表的なアプローチが、モデル自身の予測を疑似ラベルとして使うSelf-Trainingと、複数の視点(特徴集合)を持つ2つのモデルが互いに教え合うCo-Trainingです。

一方、自己教師あり学習は、人手のラベルを一切使わず、データ自身から自動的に作れる疑似タスク(プレテキストタスク)を解かせることで有用な特徴表現を学ぶ枠組みです。学習した表現は、下流タスクへの転移(ファインチューニングや線形評価)で活用されます。言語ではBERTのマスク語予測が典型例であり、画像分野ではContrastive learning(対照学習)が大きな成功を収めました。両者は「ラベル不足をどう補うか」という同じ動機を持ちながら、疑似ラベルの作り方が異なる点を意識すると整理しやすくなります。

🔍 キーワード解説

Self-Training

Self-Training(自己訓練)は、半教師あり学習の最も基本的な手法です。手順は、(1)ラベル付きデータでモデルを学習する、(2)そのモデルでラベルなしデータを予測し、確信度の高い予測結果を疑似ラベル(pseudo-label)として付与する、(3)ラベル付きデータと疑似ラベル付きデータを合わせて再学習する、というサイクルの繰り返しです。実装が簡単でどんなモデルにも適用できる一方、誤った疑似ラベルが再学習で強化される「誤りの増幅(確証バイアス)」が起こり得るため、確信度の閾値設定などが重要になります。教師モデルの疑似ラベルでより大きな生徒モデルを学習させる発展形も研究されています。

Co-Training

Co-Training(共訓練)は、データが2つの独立した特徴集合(ビュー)で表現できる場合に、それぞれのビューで別々の分類器を学習し、互いに教え合う半教師あり学習の手法です。一方の分類器が確信を持って予測したラベルなしデータを、もう一方の分類器の訓練データに疑似ラベル付きで追加する、という操作を交互に繰り返します。古典的な例として、Webページ分類を「ページ本文」と「リンクのアンカーテキスト」という2つのビューで行う設定が知られています。各ビューが単独でも分類に十分な情報を持ち、かつ互いに条件付き独立に近いことが理想的な前提です。1つのモデルが自分の予測を使うSelf-Trainingに対し、異なる視点を持つ2つのモデルの相互補完で疑似ラベルの質を高める点が特徴です。

Contrastive learning

Contrastive learning(対照学習)は、自己教師あり表現学習の代表的なアプローチで、「意味的に近いサンプルの組(正例ペア)は埋め込み空間で近く、無関係なサンプルの組(負例ペア)は遠くなるように」特徴抽出器を学習します。画像の自己教師あり学習では、同じ画像にランダムクロップや色変換などのデータ拡張を2通り施したものを正例ペアとし、ミニバッチ内の他の画像を負例として、InfoNCE損失などで対照学習を行う方法(SimCLRなど)が有名です。ラベルなしで学んだ表現の上に線形分類器を載せるだけで、教師あり学習に迫る精度が得られることが示され、自己教師あり学習の有効性を強く印象づけました。負例を用いない発展手法もありますが、まず「正例を引き寄せ、負例を引き離す」という基本原理を押さえることが重要です。

📝 試験でのポイント

📚 まとめ

半教師あり学習はラベルなしデータを疑似ラベルなどの形で取り込み、少量のラベルで性能を高める枠組みで、自分の予測を使うSelf-Trainingと2つのビューで教え合うCo-Trainingが代表です。自己教師あり学習はラベルなしデータから疑似タスクで表現を学ぶ枠組みで、正例を近づけ負例を遠ざけるContrastive learningが画像分野で大きな成功を収めました。各手法の「疑似ラベル・疑似タスクの作り方」の違いを軸に整理しておきましょう。