ChatGPTの頭文字にもなっている「GPT」。その正体は、ひたすら「次の単語」を予測するように訓練された言語モデルの系譜です。本記事では、GPT-nと総称されるモデル群の仕組みと、GPT-3で示された「大規模化の威力」をやさしく解説します。

📖 ひと言でいうと

GPT-nとは、OpenAIが開発した言語モデルの一群(GPT、GPT-2、GPT-3、GPT-4…)の総称です。名前はGenerative Pre-trained Transformerの略で、Transformerを土台に大量のテキストで事前学習し、人間らしい文章を生成します。

その基本動作は「これまでの文章の続きとして、次に来る単語を予測する」ことの繰り返しです。予測した単語を文末に付け足し、また次を予測する——これを自己回帰(オートリグレッシブ)と呼びます。例えるなら、超高性能な「予測変換」を延々とつなげて文章を書いているイメージです。

🖼 1枚でわかるGPT-n

GPT-n(Generative Pre-trained Transformer)
  • 正体 — OpenAIが開発した言語モデルの一群(GPT→GPT-2→GPT-3→GPT-4)
  • 土台 — Transformerアーキテクチャ+大規模テキストでの事前学習
  • 動作原理 — 次の単語を予測し続ける自己回帰型の文章生成
  • 転機 — GPT-3(1,750億パラメータ)で少ないデータでも多様なタスクに対応
  • 用途 — テキスト生成・翻訳・要約・質問応答など幅広いNLPタスク
つくもち屋「G検定対策」SUMMARY

📘 公式テキストの説明

OpenAIが開発した言語モデルの一群を指す。「Generative Pre-trained Transformer」の略称であり、Transformerアーキテクチャを基盤としている。このモデルは、大規模なテキストデータを事前に学習し、文脈を理解した上で人間らしい文章を生成する能力を持つ。初代のGPTは2018年に発表され、続くGPT-2、GPT-3と進化を遂げてきた。特にGPT-3は、1,750億ものパラメータを持ち、多様なタスクにおいて高い性能を示している。このモデルは、テキスト生成、翻訳、要約、質問応答など、多岐にわたる自然言語処理タスクに適用されている。また、GPT-3の登場により、少ない学習データでも高精度の文書理解が可能となり、バックオフィス業務の効率化にも寄与している。さらに、GPT-3の後継モデルとしてGPT-4が開発され、より高度な言語理解と生成能力を備えている。これらのモデルは、自然言語処理の分野において重要な役割を担っている。

名前を分解すると特徴がそのまま読み取れます。Generative=文章を「生成」する、Pre-trained=大規模テキストで「事前学習」済み、Transformer=2017年に登場したアーキテクチャが土台。この3要素に「GPT-3は1,750億パラメータ」という規模の数字を加えれば、試験対策の核は押さえられます。

🔍 しっかり理解する

自己回帰:「次の単語予測」だけで文章が書ける

GPTの学習方法は驚くほどシンプルです。インターネット上の膨大なテキストを使い、「ここまでの文章に続く次の単語は何か」を当てる練習を延々と繰り返します。正解はテキスト自体に書かれているので、人間がラベルを付ける必要がありません(自己教師あり学習)。

生成時は、この予測を1単語ずつ積み重ねます。「日本で一番高い山は」と入力されれば「富士山」が続く確率が高いと予測し、それを付け足してさらに続きを予測する——という自己回帰の繰り返しで、文章全体が生成されます。翻訳も要約も質問応答も、「続きを書く」という同じ動作の応用として実現できるのがGPT系の強みです。

BERTとの対比:同じTransformer、逆向きの発想

GPTとよく比較されるのが、同じくTransformerを土台とするBERTです。両者は事前学習の課題設定が対照的です。

🅰 GPT系(自己回帰型)
  • 前の文脈から「次の単語」を予測
  • 左から右への一方向で文章を生成
  • 文章生成が得意(生成タスク向き)
  • Transformerのデコーダ側の構造を利用
🅱 BERT(双方向型)
  • 文中の隠した単語を前後両方から予測
  • 双方向の文脈をまとめて読む
  • 文の分類・理解が得意(理解タスク向き)
  • Transformerのエンコーダ側の構造を利用

「GPT=生成が得意な一方向(自己回帰)型」「BERT=理解が得意な双方向型」という対比は、選択肢の正誤を分ける頻出ポイントです。

GPT-3の衝撃:規模がもたらした「少ないデータでの適応」

初代GPT(2018年)からGPT-2、GPT-3へと、モデルの規模と学習データ量は桁違いに拡大しました。GPT-3(2020年発表)は1,750億パラメータという当時空前の規模に達し、単に文章が流暢になっただけでなく、質的な変化を見せました。

それまでのモデルは、タスクごとに大量のラベル付きデータで追加学習(ファインチューニング)するのが前提でした。ところがGPT-3は、プロンプト(指示文)に少数の例を見せるだけで、追加学習なしに翻訳や要約などをこなせることを示しました。公式テキストの「少ない学習データでも高精度の文書理解が可能」とはこのことです。この性質が、後のChatGPT(GPT-3.5系を対話向けに調整したサービス)やGPT-4へとつながり、大規模化競争の口火を切りました。

💡 具体例で考える

バックオフィス業務での文書処理

公式テキストが触れるように、GPT-3クラスのモデルは企業のバックオフィス業務の効率化にも使われています。たとえば、問い合わせメールの内容を読んで要点を抽出・分類したり、報告書の下書きや議事録の要約を生成したりといった作業です。従来は書式が少し変わるだけで作り直しが必要だった文書処理システムが、「指示文と例を与えるだけ」で柔軟に対応できるようになった点が、実務でのインパクトでした。

ChatGPTは「GPT-nの応用サービス」

2022年に公開されたChatGPTは、GPT系モデルを対話用に調整したサービスであり、GPT-nの系譜の直接の応用例です。世界的なブームによって「GPT」の名前は一気に一般化しましたが、その中身は本記事で見てきた「Transformer+事前学習+次の単語予測」の積み重ねです。試験では「ChatGPTの基盤にあるのはOpenAIのGPT系言語モデル」という関係を押さえておけば十分です。

⚠️ よくある誤解・紛らわしい用語

💡 ポイント
  • GPT-nは1つのモデルではない — GPT、GPT-2、GPT-3、GPT-4という「一群(シリーズ)」の総称です。「n」に世代番号が入ります。
  • BERTとの混同 — どちらもTransformerベースの事前学習モデルですが、GPTは自己回帰型で生成向き、BERTは双方向型で理解向きです。開発元もOpenAIとGoogleで異なります。
  • 「1,750億」はGPT-3のパラメータ数 — この数字をGPT-2や他モデルに付け替えた選択肢に注意しましょう。
  • PaLMとの違い — PaLMはGoogleが開発した大規模言語モデルで、GPT-nとは開発元が異なります。「OpenAI=GPT系」「Google=BERT・PaLM」と整理しましょう。

📝 試験でのポイント

💡 ポイント
  • 「OpenAI」「Generative Pre-trained Transformerの略」「Transformer基盤」「初代は2018年」という基本情報の組み合わせで正誤判定できるようにしましょう。
  • GPT-3の「1,750億パラメータ」は数字がそのまま問われる定番です。
  • GPT(一方向・自己回帰・生成)とBERT(双方向・理解)の対比は最頻出です。
  • 「少ない学習データでも多様なタスクに対応できるようになった」というGPT-3の意義、GPT-4への発展、ChatGPTとの関係も出題が想定されます。

📚 まとめ

💡 ポイント
  • GPT-nはOpenAIが開発した言語モデルの一群で、Generative Pre-trained Transformerの略です。
  • Transformerを基盤に大規模テキストを事前学習し、「次の単語予測」の自己回帰で人間らしい文章を生成します。
  • 初代GPT(2018年)からGPT-2、GPT-3(1,750億パラメータ)、GPT-4へと大規模化しながら進化してきました。
  • GPT-3以降は少ないデータで翻訳・要約・質問応答など多様なタスクに対応でき、ChatGPTなど生成AIブームの土台となりました。
カテゴリー
G検定、キーワード解説
前の記事
【G検定】GLUEとは？言語理解モデルの共通ベンチマークをわかりやすく解説
2026年5月22日
次の記事
【G検定】n-gramとは？テキストをN個ずつ区切る基本手法をわかりやすく解説
2026年5月22日