【G検定】Contrastive Lossとは？似たデータを近づけ違うデータを遠ざける損失関数を解説

「似ているものは近くに、違うものは遠くに」——この単純な原則だけで、ラベルのない大量データからも良い特徴表現を学べるようにするのがContrastive Loss(コントラスト損失)です。自己教師あり学習を支える重要キーワードとして解説します。

📖 ひと言でいうと

Contrastive Lossとは、類似したサンプル同士の距離を縮め、異なるサンプル同士の距離を広げるように学習させるための損失関数(誤差関数)です。「正解の値を当てる」のではなく「データ同士の位置関係を整える」ことを目的とする、距離学習・表現学習のための損失です。

例えるなら「席替えの先生」です。仲の良い生徒(類似サンプル)は近くの席に、相性の悪い生徒(異なるサンプル)は離れた席に配置し直していきます。何度も席替えを繰り返すうちに、教室の座席配置(特徴空間)を見るだけで生徒同士の関係がわかるようになる、というイメージです。厳密には、座席にあたるのがエンコーダが出力する特徴ベクトルで、その距離(類似度)を損失関数で調整します。

🖼 1枚でわかるContrastive Loss

📘 公式テキストの説明

データ内の類似したサンプル同士を近づけ、異なるサンプルを遠ざけることで、特徴的な表現を学習させる手法。たとえば、あるアンカーとなるサンプルと、それに類似する「ポジティブサンプル」を近づけ、異なる「ネガティブサンプル」との距離を広げるようなエンコーダをトレーニングする。これにより、モデルは視覚や言語のようなデータ間の潜在的なパターンや関係性を捉えやすくなる。代表的な形式としては「InfoNCE損失」があり、これはポジティブペアとネガティブペアの類似度を最大化・最小化するもので、温度パラメータが「ハードネガティブ」へのペナルティの強さを調整する役割を持つ。温度が低いほど、類似性の高いネガティブサンプル（難しいサンプル）に対して強いペナルティが加わり、温度が高い場合にはすべてのネガティブサンプルに均等にペナルティが加えられる。このハードネガティブに対するペナルティ調整機能によって、モデルはより区別が難しいサンプルを識別する力を養うことができ、汎用性が向上する。コントラスト損失は、特に大量のラベルなしデータから学習する自己教師あり学習（self-supervised learning）で効果的で、画像分類や顔認識など多様な分野で応用されている。この手法は、データの多様性を活かして汎化性能を高め、未学習のデータにも対応できるようモデルを強化する利点がある。また、コントラスト損失には、「ハードコントラスト損失」という拡張版もあり、特定の高類似度のネガティブサンプルのみを使用して損失を計算することで、モデルの学習効率をさらに向上させることが可能。

長い説明ですが、骨格は「①近づける/遠ざけるの二本立て」「②代表形式はInfoNCE損失で、温度パラメータが難しいネガティブへのペナルティの強さを調整する」「③ラベルなしデータの自己教師あり学習で特に効果的」の3点です。温度の向きは「低い=難しいネガティブを強く罰する、高い=全ネガティブに均等」と対応づけて覚えましょう。

🔍 しっかり理解する

3つの登場人物と2つの力

学習の1単位には、基準となるアンカー、アンカーと類似するポジティブサンプル、異なるネガティブサンプルが登場します。エンコーダ(特徴ベクトルへの変換器)は、損失を小さくしようとする過程で「アンカーとポジティブの距離を縮める力」と「アンカーとネガティブの距離を広げる力」を同時に受けます。

この「引力と斥力」を大量のデータで繰り返すと、特徴空間の中に意味的なまとまりができあがります。正解ラベルを直接当てるわけではないのに、データ間の潜在的なパターンや関係性を捉えた表現が得られる、というのが最大の魅力です。

InfoNCE損失と温度パラメータ

代表的な形式であるInfoNCE損失は、ポジティブペアの類似度を最大化し、ネガティブペアの類似度を最小化するように設計されています。ここで重要な役割を果たすのが温度パラメータです。

温度が低いと、アンカーと紛らわしいほど似ているネガティブサンプル(ハードネガティブ)に強いペナルティが集中し、モデルは「区別が難しいものを見分ける訓練」を重点的に受けます。温度が高いと、すべてのネガティブサンプルに均等にペナルティが分散します。この調整機能により、難しいサンプルの識別力が養われ、モデルの汎用性が向上します。さらに、類似度の高いネガティブだけを選んで損失を計算するハードコントラスト損失という拡張版もあり、学習効率の向上に使われます。

なぜ自己教師あり学習と相性が良いのか

Contrastive Lossの優れた点は、人手の正解ラベルがなくてもポジティブペアを作れることです。たとえば1枚の画像を「切り抜き」と「色調変更」で2通りに加工すれば、この2つは同じ画像由来なのでポジティブペア、他の画像はネガティブとみなせます。ラベル付けのコストなしに学習単位を無限に量産できるため、大量のラベルなしデータから学習する自己教師あり学習で特に効果を発揮するのです。

💡 具体例で考える

自己教師あり学習の代表例がSimCLRです。1枚の画像にランダムな切り抜きや色変換などのデータ拡張を2回かけて2つのビューを作り、それらをポジティブペア、同じバッチ内の他画像をネガティブとしてInfoNCE型のコントラスト損失で学習します。ラベルを一切使わずに、その後の画像分類に役立つ高品質な特徴表現が得られることを示し、対照学習ブームの火付け役になりました。

もう1つの著名な例がCLIPです。「画像」と「その説明文」を対応するペア(近づける)、無関係な組み合わせを非対応ペア(遠ざける)として対照学習することで、画像とテキストを同じ特徴空間で扱えるようにしました。視覚と言語という異なる種類のデータの関係性を捉えるという、公式テキストの記述を体現した応用です。

⚠️ よくある誤解・紛らわしい用語

📝 試験でのポイント

📚 まとめ

Contrastive Lossは、類似サンプルを近づけ、異なるサンプルを遠ざけることで特徴的な表現を学習させる損失関数です。アンカー・ポジティブ・ネガティブという登場人物と、引力・斥力の二本立てで動きます。代表形式のInfoNCE損失では温度パラメータがハードネガティブへのペナルティを調整し、識別の難しいサンプルへの対応力を高めます。ラベルなしデータを活かす自己教師あり学習の中核として、画像分類や顔認識など幅広い分野で応用されています。