GPT-3が口火を切った大規模言語モデル競争の中で、Googleが2022年に投入したのがPaLMです。本記事では、5,400億パラメータという規模の意味、PaLM 2への進化とGoogle製品への展開、そして後継Geminiへ続く流れをやさしく解説します。
📖 ひと言でいうと
PaLM(Pathways Language Model)とは、Googleが開発した大規模言語モデルで、2022年4月の発表時点で5,400億のパラメータを持ち、翻訳・要約・質問応答・コード生成など多様なタスクに対応します。
位置づけとしては、「言語モデルをどこまで大きくできるか、大きくすると何が起きるか」を追求した大規模化路線の代表例です。GPT-3(1,750億パラメータ)の約3倍という規模で、モデルを大きくするほど性能が伸びるという流れを、Google側から強力に推し進めたモデルといえます。
🖼 1枚でわかるPaLM
📘 公式テキストの説明
PaLM（Pathways Language Model）は、Googleが開発した大規模言語モデルで、自然言語処理（NLP）の分野で注目を集めている。2022年4月に発表され、5,400億のパラメータを持つこのモデルは、英語を中心とした多言語のテキストデータを学習し、翻訳や要約、質問応答、コード生成など、多様なタスクに対応している。その後、2023年5月に発表されたPaLM 2では、100以上の言語を学習し、言語理解やテキスト生成、翻訳の能力が向上した。また、数学的な推論やプログラミング能力も強化され、複雑なタスクへの対応力が高まっている。PaLM 2は、Googleの対話型AIサービス「Bard」や、Google WorkspaceのGmail、ドキュメント、スプレッドシートなど、さまざまな製品やサービスに導入されている。これにより、ユーザーは日常的な業務やコミュニケーションの中で、PaLM 2の機能を活用できるようになっている。さらに、PaLM 2の後継モデルとして「Gemini」が開発中であり、マルチモーダル機能を備え、テキストだけでなく画像や音声など、多様なデータ形式に対応することが期待されている。
覚えるべき軸は「誰が・いつ・どのくらい・何に使われたか」です。Googleが2022年4月に発表、5,400億パラメータ、翻訳・要約・質問応答・コード生成に対応、PaLM 2はBardやGoogle Workspaceに導入——この事実の並びを押さえれば、選択肢の正誤判定にはほぼ対応できます。
🔍 しっかり理解する
名前の由来:Pathwaysという学習基盤
PaLMの「Pa」は、Googleが提唱した次世代AI基盤「Pathways」から来ています。Pathwaysは、数千規模のチップを効率よく連携させて巨大モデルを学習させるためのシステム構想で、PaLMはこの基盤を使って学習された言語モデルという位置づけです。5,400億パラメータという規模の学習は、モデルの設計だけでなく「巨大な計算をどう回すか」というインフラ技術があって初めて可能になりました。大規模言語モデルの開発が、アルゴリズムと計算基盤の総合力の勝負であることを示す好例です。
大規模化の系譜:GPT-3の先へ
PaLMを理解する最短ルートは、大規模言語モデルの系譜の中に置くことです。2020年のGPT-3(OpenAI・1,750億パラメータ)は、モデルを大規模化すると少ない例示だけで多様なタスクをこなせるようになることを示しました。PaLMはその路線をさらに推し進めた5,400億パラメータで、多段階の推論を要する問題などでの性能向上が報告されました。
パラメータ数の競争そのものが目的なのではなく、「規模を拡大すると、翻訳もコード生成も推論も1つのモデルでこなせる汎用性が得られる」ことが本質です。PaLMはその汎用性をGoogle側で実証した存在です。
PaLM 2:規模から質へ、そして製品への組み込み
2023年5月に発表されたPaLM 2では、100以上の言語を学習して多言語能力を高めたほか、数学的な推論やプログラミング能力も強化されました。単に大きくするだけでなく、学習データの質や訓練方法の工夫で能力を引き上げる方向へ進化しています。
もう1つの重要な変化は、研究発表にとどまらず製品に組み込まれたことです。対話型AIサービス「Bard」の基盤となり、GmailやGoogleドキュメント、スプレッドシートといったGoogle Workspaceにも導入されました。大規模言語モデルが「論文の中の技術」から「日常業務のインフラ」へ変わっていく転換点に位置するモデルです。
💡 具体例で考える
BardとGoogle Workspaceでの活用
PaLM 2の導入により、Bardに質問すると多言語で回答が得られ、コードの生成や説明も可能になりました。またGmailでは返信文の下書き支援、ドキュメントでは文章の作成・推敲支援のように、普段のオフィス作業の中で言語モデルの支援を受けられるようになりました。ユーザーから見れば「メールソフトが文章を提案してくれる」だけですが、その裏で動いているのが大規模言語モデルである、という構図はG検定でも意識しておきたいポイントです。
「規模の勝負」を象徴する5,400億という数字
GPT-3の1,750億に対してPaLMは5,400億。この対比は、2020年代前半のAI開発が「計算資源とデータを注ぎ込んだ者が汎用性を手に入れる」フェーズにあったことを象徴しています。一方で、この路線は莫大な計算コストと電力を要するため、その後は効率化(小さくても強いモデル)やマルチモーダル化(Gemini)へと開発の焦点が広がっていきました。PaLMは「純粋な大規模化路線の到達点のひとつ」として記憶しておくとよいでしょう。
⚠️ よくある誤解・紛らわしい用語
- GPT-nとの違い — どちらも大規模言語モデルですが、PaLMはGoogle、GPT-nはOpenAIの開発です。パラメータ数(PaLM=5,400億、GPT-3=1,750億)の入れ替えにも注意しましょう。
- BERTとの違い — 同じGoogle製でも、BERTは2018年の事前学習モデルで規模も用途も別物です。「Googleの言語モデル」という共通点だけで混同しないようにしましょう。
- PaLMとPaLM 2 — 5,400億パラメータは初代PaLM(2022年)の数字、Bard等への導入や100以上の言語学習はPaLM 2(2023年)の話です。世代の取り違えが定番の引っかけです。
- Geminiとの関係 — GeminiはPaLM 2の後継として開発された、画像や音声も扱えるマルチモーダルモデルです。PaLMの一種ではなく後継と押さえましょう。
📝 試験でのポイント
- 「Google」「Pathways Language Model」「2022年発表」「5,400億パラメータ」の組み合わせでPaLMを特定できるようにしましょう。
- 対応タスクとして「翻訳・要約・質問応答・コード生成」が列挙されます。言語タスクに限らずコード生成まで含む点が特徴です。
- PaLM 2の強化点(100以上の言語、数学的推論、プログラミング能力)と導入先(Bard、Google Workspace)は正誤判定で問われやすい具体情報です。
- 開発元の対応関係(OpenAI=GPT系/Google=PaLM・Gemini)を問う出題が想定されます。
📚 まとめ
- PaLMはGoogleが開発した大規模言語モデルで、2022年4月発表、5,400億のパラメータを持ちます。
- 翻訳・要約・質問応答・コード生成など多様なタスクを1つのモデルでこなす汎用性が特徴です。
- PaLM 2(2023年5月)では100以上の言語を学習し、数学的推論やプログラミング能力も強化され、BardやGoogle Workspaceに導入されました。
- 後継のGeminiはマルチモーダル化へ進み、PaLMは大規模化路線の代表例として位置づけられます。
