GPTの「T」が何の頭文字か知っていますか。答えはTransformer(トランスフォーマー)——現在の大規模言語モデルのほぼすべてが採用している、ニューラルネットワークの構造です。なぜこの設計図だけが生き残り、生成AI革命の主役になったのでしょうか。このページでは、その理由を「以前の方式の弱点」から順に解き明かします。
📖 ひと言でいうと
トランスフォーマー(Transformer)とは、文章中の言葉どうしの関係を一度にまとめて処理できる、ニューラルネットワークの構造(アーキテクチャ)のことです。「Attention Is All You Need(必要なのはアテンションだけ)」という題名の論文で提案され、以後の言語AIの標準設計図になりました。
身近な例えは、書類の読み方の違いです。従来方式が「1行ずつ音読して順に理解する読み方」だとすれば、トランスフォーマーは「書類全体を机に広げ、関係する箇所どうしを線で結びながら読む読み方」です。全体を広げて見るからこそ、離れたページの関連にも気づけますし、複数人で分担して同時に読み進めることもできます。
🖼 1枚でわかるトランスフォーマー
🔍 しっかり理解する
以前の方式は何に困っていたのか
トランスフォーマーの価値を理解する近道は、それ以前の主流だった「逐次処理型」(RNNと呼ばれる系統。ひと言でいうと、文章を頭から1語ずつ順番に読み込む方式)の弱点を知ることです。
弱点は2つありました。1つ目は記憶のバケツリレー問題です。逐次型は、読んだ内容を「要約メモ」のような内部状態に押し込みながら次の語へ進みます。伝言ゲームと同じで、文章が長くなるほど序盤の情報が薄れ、文頭と文末の関係をつかみそこねます。2つ目は順番待ち問題です。2語目の処理は1語目が終わらないと始められないため、コンピューターをたくさん並べても同時に働かせにくく、学習データを増やすほど時間が際限なく延びてしまいます。
トランスフォーマーは、この2つを一挙に解決しました。全部の言葉を最初から机に広げ、アテンション(ひと言でいうと、言葉どうしの関係の強さを点数化して注目先を決める仕組み)で任意の2語を直接結びつけるので、バケツリレーが不要になります。また、各語の処理を同時並行で進められるので、大量のコンピューターを総動員した高速学習が可能になりました。
- 頭から1語ずつ順番に読む
- 長文では序盤の情報が薄れる
- 順番待ちが発生し並列化しにくい
- 大規模化に不向き
- 全体を広げて関係を一括処理
- 離れた言葉どうしも直接結べる
- 並列計算で高速に学習できる
- 大規模化に向き、LLMの土台に
中の構造をのぞいてみる
トランスフォーマーの内部を、数式なしでスケッチしてみましょう。処理はおおむね次の流れです。
まず入力文をトークン(文字のかたまり)に区切り、各トークンを「意味を表す数値の並び」に変換します(埋め込みと呼ばれます)。ここで1つ工夫が要ります。全部を一度に机に広げる方式では、そのままだと語順の情報が消えてしまうのです。「犬が猫を追う」と「猫が犬を追う」の区別がつかなくなっては困ります。そこで各トークンに「あなたは何番目」という位置の情報を添えます(位置エンコーディングと呼ばれます)。
次に、アテンションで各トークンが他のトークンとの関係の強さを計算し、関係の深い相手の情報を取り込みます。さらに、取り込んだ情報を練り上げる変換の層が続きます。この「アテンション+変換」のセットを1つのブロックとして、同じ構造のブロックを何層も積み重ねるのがトランスフォーマーの基本形です。層を重ねるほど、単語レベルの関係から文全体・話題レベルの関係まで、段階的に深い処理ができるようになります。積み重ねの最後に、次のトークンの確率一覧が出力されます。
厳密には、元の論文の構成は「読む側(エンコーダー)」と「書く側(デコーダー)」の2部構成で、その後のモデルには片側だけを使う系統もあります(GPT系はデコーダー側の系統として知られます)。試験対策としては、この細部より「共通の設計図」「心臓部はアテンション」「並列化で大規模化に向く」の3点が重要です。
言語を超えて広がった設計図
トランスフォーマーは言語のために生まれましたが、その本質は「要素どうしの関係を一括処理する汎用の仕組み」です。画像を小さなパッチ(タイル)に分けてトークンのように扱えば画像認識に、音声にも同様の発想で応用できます。分野ごとにバラバラだったAIの設計図がトランスフォーマーへ合流したことは、テキストと画像を一緒に扱うマルチモーダルAI(別項目で学びます)への道も開きました。
💡 具体例で考える
長文の議事録をAIに要約させる場面を考えます。会議の冒頭で出た「予算の懸念」が、終盤の「結論」と呼応しているとしましょう。逐次処理型なら、終盤を読む頃には冒頭の記憶が薄れ、この呼応を見落とすおそれがあります。トランスフォーマーは冒頭と終盤を直接結びつけられるため、「冒頭の懸念が結論でどう解消されたか」まで踏まえた要約が作れます。長い文書の全体を踏まえた応答ができる背景には、この構造上の強みがあるのです。
もう1つ、開発の現場から見た例を挙げましょう。学習の速さは、AI開発では死活問題です。順番待ちが避けられない逐次型では、データを何倍に増やしても訓練時間が壁になります。トランスフォーマーは処理を並列に分担できるため、コンピューターを増やせば増やしただけ学習を速められます。「設計図を替えたら、大量の計算資源を注ぎ込めるようになった」——この一点が、その後のモデルの大規模化競争を可能にした実務上の決定打でした。
⚠️ よくある誤解・つまずきポイント
- 誤解「トランスフォーマーは特定のAI製品の名前」→ 正しくは、ネットワーク構造(設計図)の名前です。多くのモデルがこの設計図を共有しています
- 誤解「トランスフォーマーとアテンションは別々の並列な技術」→ 正しくは、アテンションはトランスフォーマーを構成する中核部品です。部品と設計図の関係で覚えましょう
- 誤解「全体を一度に処理するなら語順は関係ない」→ 正しくは、語順が失われないように位置情報を付与する工夫が組み込まれています
- 誤解「トランスフォーマーは言語専用」→ 正しくは、画像・音声など他分野にも広く応用されています
📝 生成AIテストではこう出る
- 「現在の大規模言語モデルの多くが採用しているアーキテクチャはどれか」→ トランスフォーマーを選ぶ基本問題が想定されます
- 従来方式との比較を問う形式。「並列処理が可能で大規模な学習に適している」「離れた位置の単語間の関係を捉えやすい」が正解の軸になります
- 構成要素を問う形式。「トランスフォーマーの中核をなす仕組みはアテンションである」という記述の正誤判定は頻出パターンと考えられます
- GPTの「T」がTransformerを指す、という知識の確認も出題され得ます
📚 まとめ
- トランスフォーマーは、言葉どうしの関係を一括処理するネットワーク構造で、現在のLLMの共通の設計図です
- 従来の逐次処理型の「長文で記憶が薄れる」「並列化できない」という2大弱点を、アテンションによる直接結合と並列処理で解決しました
- 内部は「トークン化→位置情報付与→アテンション+変換の層の積み重ね→確率出力」という流れです
- この設計図は言語を超えて画像・音声にも広がり、生成AI全体の土台になっています
- 心臓部のアテンションについては、次のキーワード解説でさらに深掘りします
