【生成AI入門】大規模言語モデル(LLM)の基本構造｜TransformerとAttentionをやさしく解説

ChatGPTの中身は「大規模言語モデル(LLM)」と呼ばれるAIです。この記事では、LLMとは何か、その心臓部である「トランスフォーマー」と「アテンション」という仕組み、そして応用の土台となる「基礎モデル」という考え方を、数式を一切使わずに解説します。カタカナ語が並びますが、1つずつ身近な例えでほどいていくので安心してください。

📖 この項目で学ぶこと

この記事で扱うのは、シラバスの理解項目「大規模言語モデルの基本構造を理解している。」です。

前の項目(1-1)で、文章生成AIは「次に来る言葉を確率で予測する」仕組みだと学びました。では、その予測は具体的にどんな「部品」で実現されているのでしょうか。答えを先に言うと、現在の主流はこうです。大量の文章で訓練された巨大なAI(大規模言語モデル)が、トランスフォーマーという設計図をもとに作られていて、その設計図の心臓部がアテンションという仕組みです。

いきなり全部覚える必要はありません。この記事では、料理にたとえるなら「LLMという料理は、トランスフォーマーというレシピで作られていて、そのレシピの決め手はアテンションという下ごしらえ」という関係を、順を追って説明します。最後に、出来上がったLLMがさまざまな用途の「土台」として使い回される、基礎モデルという考え方も紹介します。この4つの言葉の関係図が頭に入れば、この項目はクリアです。

🔍 キーワードをやさしく解説

大規模言語モデル (LLM)

大規模言語モデル(LLM: Large Language Model)とは、ひと言でいうと「とてつもなく大量の文章を読み込んで、言葉の続きを予測できるようになった、超巨大なAIモデル」のことです。ChatGPTやGemini、Claudeといったサービスの中核には、このLLMが入っています。

身近な例えでいうと、「世界中の本や記事を読み込んだ、究極の予測変換」です。スマホの文字入力で「よろしく」と打つと「お願いします」が候補に出ますよね。あれをけた違いに強力にして、単語1つの予測ではなく、文章全体・会話全体の流れを踏まえた続きを予測できるようにしたもの、とイメージしてください。質問に答えているように見えるのも、実は「質問文の続きとして最も自然な回答文」を1語ずつ予測して並べている、というのが正体です。

「大規模」という名前には、主に3つの意味が込められています。

規模を大きくしていくと性能がぐんぐん伸び、さらに、明示的に教えていない能力(要約、翻訳、簡単な推論など)まで発揮するようになったことが、近年の生成AIブームの引き金になりました。

トランスフォーマー (Transformer)

トランスフォーマー(Transformer)とは、ひと言でいうと「現在のLLMのほぼ共通の設計図となっている、ニューラルネットワークの構造(アーキテクチャ)」のことです。2017年に発表された研究論文で提案され、それ以降の言語AIの標準になりました。GPTの「T」はTransformerの頭文字です。

身近な例えでいうと、トランスフォーマーは「自動車のエンジン形式」のようなものです。世の中にはいろいろな車種(GPT系、Gemini、Claudeなど)がありますが、多くが同じ形式のエンジン(トランスフォーマー)を積んでいる、という関係です。車種ごとに大きさやチューニングは違っても、動力の基本原理は共通、というわけです。

トランスフォーマーが登場する前の言語AIは、文章を「頭から1語ずつ順番に」読む方式が主流でした。この方式には、長い文章を読むうちに前半の内容を忘れてしまう、順番にしか処理できないので学習に時間がかかる、という弱点がありました。トランスフォーマーはこれを一新し、文章中の言葉どうしの関係を一度にまとめて処理できる構造を採用しました。これにより、次の2つの利点が生まれました。

• 長い文章でも、離れた場所にある言葉どうしの関係を捉えやすい
• 計算を並列に(同時にたくさん)進められるため、大規模なデータでの学習がしやすい

この「大規模化に向いた設計」だったことが、後のLLMの爆発的な進歩を支えました。そして、この構造の心臓部にあたるのが、次に説明するアテンションです。

アテンション (Attention)

アテンション(Attention)とは、ひと言でいうと「文章を理解するときに、どの言葉に注目すべきかを計算する仕組み」のことです。英語のattentionは「注意・注目」という意味で、その名のとおり、言葉ごとの「注目度」を割り振ります。

身近な例えで考えてみましょう。「山田さんは佐藤さんに傘を貸した。なぜなら彼が濡れそうだったからだ。」という文を読むとき、私たちは「彼」が誰を指すかを、無意識に前の文脈から判断します(この場合は佐藤さんですね)。このとき頭の中では、「彼」という言葉を理解するために「佐藤さん」に強く注目し、「傘」や「山田さん」にはほどほどに注目する、という重みづけが行われています。アテンションは、まさにこれをAIの中で数値として計算する仕組みです。文中のある言葉を処理するとき、他のすべての言葉との「関係の強さ」を点数化し、関係が強い言葉の情報を重点的に取り込むのです。

特に、同じ文章の中の言葉どうしで互いに注目し合う方式は「自己注意(Self-Attention)」と呼ばれ、トランスフォーマーの中核部品になっています。アテンションのおかげで、LLMは次のことが得意になりました。

• 代名詞(彼・それ・これ)が何を指すかを、文脈から捉えること
• 長い文章の離れた場所にある情報どうしを結びつけること
• 言葉の意味が文脈で変わる場合(例:「甘い考え」と「甘いケーキ」)の使い分け

厳密には、アテンションの計算方法にはいくつもの変種がありますが、試験対策としては「トランスフォーマーの中核にある、文脈の中でどの言葉に注目するかを決める仕組み」と押さえておけば十分です。

基礎モデル (Foundation Model)

基礎モデル(Foundation Model)とは、ひと言でいうと「大量のデータで訓練しておき、さまざまな用途の土台(基礎)として使い回せる汎用モデル」のことです。基盤モデルとも訳されます。試験のシラバスでは「基礎モデル」という表記が使われているので、この表記も覚えておきましょう。

身近な例えでいうと、基礎モデルは「教養をひととおり身につけた新入社員」です。特定の仕事だけを教え込まれた人ではなく、読み書きや一般常識を幅広く備えているので、配属先(要約係、翻訳係、カスタマーサポート係…)が変わっても、少しの追加研修で活躍できます。同じように、基礎モデルは1つのモデルを土台として、追加の学習(ファインチューニング。項目1-3で学びます)や指示の工夫によって、多様なタスクに応用できます。

ここで4つのキーワードの関係を整理しましょう。

• トランスフォーマーは設計図、アテンションはその心臓部の仕組み
• その設計図で大量の文章から訓練された言語のAIが大規模言語モデル(LLM)
• LLMのように「1つ訓練すれば多用途の土台になる」モデルを指す概念が基礎モデル

なお、基礎モデルという概念は言語に限りません。画像や音声など他の分野の汎用モデルも基礎モデルと呼ばれます。「LLMは基礎モデルの代表例(言語版)」という包含関係で覚えると、試験でも混乱しません。

💬 実生活・仕事でどう役立つ？

仕組みをざっくり知っていると、生成AIの「使いこなし」が変わります。たとえばアテンションの話から、「LLMは文脈の中の言葉どうしの関係を手がかりに答えている」ことがわかりました。つまり、質問するときに背景情報や前提条件をきちんと文章に含めれば、モデルはそこに「注目」して答えを作れます。「いい感じにまとめて」ではなく「新入社員向けの社内報に載せる想定で、300字程度で要約して」と書くほうが良い結果になるのは、この仕組みの自然な帰結です。

また、基礎モデルの考え方は、AI関連のニュースや製品説明を読み解くときに役立ちます。「自社データで既存モデルをチューニングしたAIサービス」といった話は、「汎用の基礎モデルを土台に、追加学習で専門特化させた」ということです。ゼロから自社製AIを作っているわけではない、と理解できれば、導入コストや実現性の勘所もつかみやすくなります。会議で「トランスフォーマーって何?」と聞かれて、「今のAIの共通の設計図で、文脈のどこに注目するかを計算するアテンションという仕組みが核です」と一言で返せたら、十分に合格レベルです。

📝 生成AIテストではこう問われる

📚 まとめ

次の「1-3 大規模言語モデルの学習方法」では、このLLMがどうやって賢く育てられるのか、事前学習とファインチューニングという2段階の育て方を学びます。