「猫の写真」と「a photo of a cat」という文章が同じ意味だと、AIはどうやって理解するのでしょうか。その答えを示したのが、2021年にOpenAIが発表したCLIPです。マルチモーダルAIと基盤モデルの出発点として、G検定のマルチモーダル分野では最重要のキーワードです。
📖 ひと言でいうと
CLIP(Contrastive Language–Image Pretraining)とは、大量の画像とテキストのペアを対照学習(コントラスト学習)で学習し、画像と言語を共通の埋め込み空間で扱えるようにしたマルチモーダルモデルです。これにより、追加訓練なしで新しいタスクをこなすゼロショット学習が可能になりました。
例えるなら、写真とキャプションを何億枚も見せられて「この写真とこの文章は同じものを指している」と当てるゲームを繰り返した結果、写真と文章を同じ「意味の地図」の上に置けるようになった通訳者のような存在です。厳密には、画像と文章をそれぞれ数値ベクトルに変換し、正しいペアのベクトル同士が近くなるよう訓練しています。
🖼 1枚でわかるCLIP
📘 公式テキストの説明
CLIP（Contrastive Language–Image Pretraining）は、2021年にOpenAIが発表したマルチモーダルモデルである。このモデルは、画像とテキストのペアを大量に学習し、視覚と言語の情報を統合的に理解する能力を持つ。従来の画像認識モデルは、特定のタスクやデータセットに特化して訓練されることが多かったが、CLIPはインターネット上から収集した約4億組の画像とテキストのペアを用いて学習することで、幅広いタスクに対応できる汎用性を備えている。CLIPの学習手法は、画像とテキストのペアを用いた対照学習（コントラスト学習）である。具体的には、画像とその説明文をエンコードし、それぞれの特徴ベクトル間の類似度を最大化するように訓練する。これにより、画像とテキストの間の関連性を高め、ゼロショット学習が可能となる。ゼロショット学習とは、特定のタスクに対して追加の訓練を行わずに、既存の知識を活用して新たなタスクを遂行する能力を指す。CLIPの構造は、画像エンコーダとテキストエンコーダの2つの部分から成り立つ。画像エンコーダにはResNetやVision Transformer（ViT）が使用され、テキストエンコーダにはトランスフォーマーモデルが採用されている。これらのエンコーダは、それぞれのモダリティから特徴を抽出し、共通の埋め込み空間にマッピングする。この共通の埋め込み空間により、画像とテキストの類似度を直接計算できるため、画像検索や画像生成などのタスクに応用可能である。CLIPは、画像とテキストの関連性を理解する能力を活かし、さまざまな応用が期待されている。例えば、テキストによる画像検索や、画像からのキャプション生成、さらには画像生成モデルとの組み合わせによる新たな画像の生成など、多岐にわたる分野での活用が進んでいる。また、CLIPの日本語版モデルも開発されており、日本語の画像キャプション生成や画像検索など、日本語環境での応用も可能となっている。
要するにCLIPのポイントは3つです。①学習データが「特定タスク用の正解ラベル」ではなくWeb上の約4億組の画像・テキストペアであること、②学習方法が「正しいペアの類似度を最大化する」対照学習であること、③その結果、画像と文章を共通の埋め込み空間で比較でき、ゼロショット学習が可能になったこと。この3点が試験で問われる核心です。
🔍 しっかり理解する
対照学習──「正しい組み合わせ当て」で意味を学ぶ
CLIPの訓練は、画像分類のように「この画像は犬」と教えるのではありません。画像の集合と説明文の集合を与え、「どの画像とどの文章が本来のペアか」を当てさせます。正しいペアの特徴ベクトルは近く(類似度を最大化)、間違った組み合わせは遠くなるように学習する——これが対照学習(コントラスト学習)です。
2つのエンコーダと共通埋め込み空間
CLIPの構造は、画像エンコーダとテキストエンコーダの2本立てです。画像側にはResNetまたはVision Transformer(ViT)、テキスト側にはトランスフォーマーモデルが使われます。両者の出力は同じ次元の「共通の埋め込み空間」にマッピングされるため、「この画像」と「この文章」の類似度をベクトルの近さとして直接計算できます。これがCLIPの応用力の源泉です。
ゼロショット分類──追加訓練なしで新タスクへ
共通空間ができると、画像分類器を「追加訓練なし」で作れます。たとえば犬・猫・鳥を分類したければ、「犬の写真」「猫の写真」「鳥の写真」というテキストをテキストエンコーダに通してカテゴリごとのベクトルを用意し、新しい画像のベクトルと最も近いものを選ぶだけです。ラベル付きデータでの再訓練が要らないこの性質がゼロショット学習で、従来の「タスクごとに専用データセットで訓練する」画像認識との決定的な違いです。
基盤モデルとしてのCLIP
CLIPで抽出した特徴は、物体認識・物体検出・Visual Question Answeringなど幅広いタスクに再利用できます。CLIPの登場以降、FlamingoやUnified-IOといった画像とテキストの関連を捉えるモデルが次々と生まれ、これらは「基盤モデル」と呼ばれるようになりました。また、CLIPと拡散モデル(Diffusion Model)を組み合わせたDALL-E(特にDALL-E 2)は、テキストで指定した画像を高品質に生成できます。CLIPは「見る」と「読む」を橋渡しするインフラとして、マルチモーダルAIの土台になっているのです。
💡 具体例で考える
テキストによる画像検索を考えてみましょう。手元の写真ライブラリから「海辺で遊ぶ犬」の写真を探したいとき、従来はあらかじめ写真にタグを付けておく必要がありました。CLIPなら、検索文をテキストエンコーダでベクトル化し、全写真のベクトルと類似度を比べるだけで、タグなしの写真からでも意味的に一致するものを取り出せます。日本語版CLIPモデルも開発されており、日本語での画像検索やキャプション生成にも応用されています。
もうひとつ象徴的なのがDALL-Eとの連携です。DALL-E(特にDALL-E 2)は、CLIPが作る「テキストと画像の共通の意味表現」を橋として使い、入力文の埋め込みから画像を生成します。CLIP自体は画像を生成しませんが、「生成AIの目と耳」として裏方で効いている——この関係は試験でも問われやすい構図です。
⚠️ よくある誤解・紛らわしい用語
- 「CLIPは画像生成モデル」ではない: CLIPは画像とテキストを関連付ける(理解・検索・分類する)モデルです。テキストから画像を生成するのはDALL-EなどのText-to-Imageモデルで、CLIPはその部品として使われる関係です。
- 対照学習と教師あり分類の混同: CLIPは「犬/猫」といった固定ラベルで訓練されていません。Webの自然な画像・テキストペアを使った対照学習であり、だからこそ任意のテキストをラベル代わりにできるのです。
- ゼロショットとFew-shotの違い: ゼロショットは追加訓練も例示も一切なしで新タスクを解くこと。少数の例示を与えて適応させるのはFew-shot(Flamingoが得意とする設定)です。
- CLIPとViTの関係: ViTはCLIPの画像エンコーダとして「使われることがある」部品です。CLIP=ViTではありません。
📝 試験でのポイント
- 「2021年・OpenAI・約4億組の画像テキストペア・対照学習」という組み合わせでCLIPを特定させる定義問題が典型です。
- 「画像エンコーダとテキストエンコーダで特徴を共通の埋め込み空間にマッピングする」という構造の記述が、正誤判定の頻出ポイントです。
- CLIP(理解・関連付け)とDALL-E(生成)の役割を入れ替えた誤答選択肢に注意しましょう。
- 「ゼロショット学習を可能にした」という帰結まで含めて1セットで覚えると、応用問題にも対応できます。
📚 まとめ
CLIPは、2021年にOpenAIが発表した、約4億組の画像・テキストペアを対照学習で学んだマルチモーダルモデルです。画像エンコーダとテキストエンコーダが特徴を共通の埋め込み空間にマッピングするため、画像とテキストの類似度を直接計算でき、追加訓練なしのゼロショット分類や画像検索が可能になりました。DALL-Eをはじめとする後続モデルの基盤となった、マルチモーダルAI時代の出発点として押さえておきましょう。
