ChatGPTのGPTは「Generative Pre-trained Transformer」の略——現在の生成AIブームの土台にあるのが、2017年の論文「Attention Is All You Need」で提案されたTransformerです。RNNを捨ててAttentionだけで系列を処理するという大胆な設計が、何を可能にしたのかを理解しましょう。
📖 ひと言でいうと
Transformerとは、RNNやLSTMのような再帰的構造を使わず、自己注意機構(Self-Attention)を中核に据えて系列データを処理するニューラルネットワークのアーキテクチャです。文中の単語同士の関連性を直接計算でき、しかも並列処理が可能なため、大規模データでの学習効率が飛躍的に向上しました。
例えるなら、RNNが「文を先頭から1単語ずつ読み進める読者」だとすれば、Transformerは「文全体を一度に見渡し、どの単語とどの単語が関係し合っているかを一気に把握する読者」です。一列に並んで伝言する必要がないため、大人数(並列計算)で手分けできるのが強みです。
🖼 1枚でわかるTransformer
📘 公式テキストの説明
2017年に発表された論文「Attention Is All You Need」で提案され、従来のリカレントニューラルネットワーク（RNN）や長短期記憶（LSTM）に代わる新たなアーキテクチャとして注目を集めた。Transformerの特徴は、自己注意機構（Self-Attention Mechanism）を活用し、入力データ内の各要素間の関連性を効率的に捉える点にある。これにより、長い文脈の依存関係を効果的に処理できる。また、並列処理が可能であるため、大規模なデータセットに対しても高い計算効率を実現している。このモデルは、機械翻訳や文章生成などの自然言語処理タスクで高い性能を示している。さらに、画像処理分野にも応用されており、Vision Transformer（ViT）などのモデルが開発されている。ViTは、画像を小さなパッチに分割し、それらをTransformerで処理することで高精度な画像認識を実現している。Transformerの登場以降、BERTやGPTといったモデルが開発され、自然言語処理の分野で多様な応用が進んでいる。これらのモデルは、事前学習とファインチューニングの手法を組み合わせることで、特定のタスクに対して高い性能を発揮している。
覚えるべき軸は3つです。①2017年「Attention Is All You Need」でRNN/LSTMの代替として登場、②Self-Attentionで要素間の関連性を捉え、長い文脈に強い、③並列処理が可能で計算効率が高い——この3点がTransformerの定義そのものです。
さらに、BERT・GPTという言語モデル、ViTという画像認識モデルの土台になったという「その後」まで含めて1つのストーリーとして押さえましょう。
🔍 しっかり理解する
RNNとの対比——逐次処理から並列処理へ
- 系列を先頭から1つずつ逐次処理
- 前の計算が終わるまで次に進めず並列化しにくい
- 離れた単語の関係は多段の伝達を経て届く
- 勾配消失などで長い依存関係の学習が難しい
- 系列全体を一度に処理できる
- 並列計算が可能で大規模データに強い
- Self-Attentionでどの単語対も直接結び付く
- 長い文脈の依存関係を効果的に処理
RNNの逐次処理は、単語数が増えるほど計算の待ち行列が伸び、GPUの並列計算能力を活かしきれませんでした。Transformerは文中の全単語を同時に処理できるため、学習を大規模化しやすく、これが後の大規模言語モデル(LLM)時代を切り開く決定的な要因になりました。
中身を支える部品たち
Transformerはエンコーダとデコーダを積み重ねた構造で、内部では次の部品が連携します。
- Self-Attention — 同じ文の中の単語同士の関連度を計算し、文脈を踏まえた表現を作ります。「銀行の口座」と「川の土手」で英単語bankの意味を文脈から区別するような働きです。
- クエリ・キー・バリュー(Q/K/V) — Attention計算の3要素です。各単語から作られるこれらのベクトルを使い、どの部分がどの程度重要かを計算して出力に反映します。
- Multi-Head Attention — Attentionを複数並列に走らせ、文法的関係・意味的関係など複数の観点から入力を分析します。
- 位置エンコーディング — 全単語を同時に処理すると語順の情報が失われるため、各単語に位置情報を付加して補います。
- Source-Target Attention — デコーダがエンコーダの出力(入力文の情報)を参照するためのAttentionです。
「Attentionを並列に処理する代償として語順が消えるので、位置エンコーディングで補う」という部品同士の因果関係まで押さえると、関連キーワードの問題に強くなります。
言語から画像へ——ViTと事前学習の時代
Transformerの応用は自然言語処理にとどまりません。Vision Transformer(ViT)は、画像を小さなパッチ(タイル状の断片)に分割し、それを単語の並びのように見立ててTransformerで処理することで、高精度な画像認識を実現しました。
また、Transformer登場以降のBERTやGPTは、大量のテキストでまず事前学習を行い、その後に個別タスクへファインチューニング(微調整)する方式で高性能を発揮しました。「汎用の言語能力を先に身につけ、仕上げだけタスク別に行う」というこの枠組みは、現在の生成AI開発の標準になっています。
💡 具体例で考える
GPTとBERT——同じ土台から生まれた2つの潮流
GPT(Generative Pre-trained Transformer)はTransformerのデコーダ側の構造を基に「次の単語を予測する」事前学習を積んだ生成型モデルで、ChatGPTへとつながりました。一方BERTはエンコーダ側の構造を基に文章の理解タスクで力を発揮します。名前も設計思想も違う2つの代表的モデルが、どちらも2017年のTransformerという同じ土台の上に立っている——この系譜は試験でも実務でも重要な見取り図です。
機械翻訳の品質向上
Transformerが最初に実力を示したタスクが機械翻訳です。RNNベースのSeq2Seq+Attentionと比べ、文全体を見渡すSelf-Attentionにより離れた単語の関係(例えば文頭の主語と文末の動詞の呼応)を捉えやすく、並列処理により学習も高速化しました。現在の翻訳サービスの品質は、この設計転換の恩恵を受けています。
⚠️ よくある誤解・紛らわしい用語
- 「TransformerはRNNを改良したもの」は誤り — 改良ではなく、再帰的構造そのものを使わない別のアーキテクチャです。「RNNに代わる」という表現がポイントです。
- Attention機構=Transformerではない — Attention自体はSeq2Seqの改良として先に登場しています。Transformerは「Attentionだけで構成した」点が新しいのです(論文名の由来)。
- Self-AttentionとSource-Target Attentionの混同 — 同一系列内の関連を見るのがSelf-Attention、エンコーダとデコーダの間を結ぶのがSource-Target Attentionです。
- 「Transformerは自然言語専用」は誤り — ViTのように画像へも応用されています。「画像をパッチに分割して処理する」という説明はViTを指します。
📝 試験でのポイント
- 「2017年」「Attention Is All You Need」「RNN/LSTMに代わる」の3点の組み合わせで定義を問う問題が最頻出パターンです。
- Transformerの利点として「長い文脈の依存関係の処理」と「並列処理による計算効率」の2つを選ばせる形式が想定されます。
- ViTの説明(画像をパッチに分割しTransformerで処理)を選ぶ問題、BERT/GPTがTransformer登場以降のモデルであることを問う問題に備えましょう。
- 「事前学習とファインチューニングの組み合わせ」という運用面のキーワードも選択肢に登場し得ます。
📚 まとめ
- Transformerは2017年の論文「Attention Is All You Need」で提案された、RNN/LSTMに代わるアーキテクチャです。
- Self-Attentionにより入力内の各要素間の関連性を直接捉え、長い文脈の依存関係を効果的に処理できます。
- 再帰構造がないため並列処理が可能で、大規模データでも高い計算効率を実現します。
- BERTやGPT(自然言語処理)、ViT(画像認識)など、現在のAIを支えるモデル群の共通の土台となりました。
