2018年にGoogleが発表したBERTは、「事前学習＋ファインチューニング」という現在のNLPの標準スタイルを決定づけたモデルです。G検定でも、MLM・NSPという2つの事前学習タスクや「双方向」というキーワードが繰り返し問われます。この記事で仕組みを土台から理解しましょう。
📖 ひと言でいうと
BERT(Bidirectional Encoder Representations from Transformers)とは、文脈を前からと後ろからの両方向で同時に読んで言葉の意味を捉える、Transformerベースの自然言語処理モデルです。人間も「銀行の口座」と「川の土手」で英単語bankの意味を文脈から判断するように、BERTは単語の前後を丸ごと見て意味を決めます。大量のテキストでの事前学習を済ませた「言葉の基礎学力を持ったモデル」として公開され、少ないデータで各タスクに転用できる点が革新でした。
🖼 1枚でわかるBERT
📘 公式テキストの説明
BERT（Bidirectional Encoder Representations from Transformers）は、2018年にGoogleが発表した自然言語処理モデルである。このモデルは、Transformerアーキテクチャを基盤としており、文脈を前後両方向から同時に捉えることで、従来のモデルよりも高精度な言語理解を実現している。BERTの学習には、大量のテキストデータを用いた事前学習が行われる。具体的には、文章中の一部の単語をマスクし、その単語を前後の文脈から予測する「Masked Language Model」と、二つの文が連続しているかを判定する「Next Sentence Prediction」という二つのタスクを組み合わせて学習する。このモデルの登場により、質問応答や感情分析、文書分類など、多様な自然言語処理タスクで高い性能が達成されている。また、BERTは事前学習済みモデルとして公開されており、特定のタスクに合わせて微調整（ファインチューニング）することで、少ないデータでも高精度なモデルを構築することが可能となっている。さらに、BERTは多言語対応モデルも提供しており、日本語を含む104の言語で事前学習が行われている。これにより、日本語の自然言語処理タスクにおいても高い性能を発揮している。BERTの登場以降、自然言語処理の分野では、BERTを基盤としたモデルや、BERTを改良したモデルが次々と開発されている。これらのモデルは、BERTのアイデアをベースに、さらなる性能向上や効率化を目指している。
覚えるべき柱は3本です。①「双方向」＝前後の文脈を同時に見る。②事前学習は「Masked Language Model(MLM)」と「Next Sentence Prediction(NSP)」の2タスク。③使うときは事前学習済みモデルをファインチューニングする。年号(2018年)と開発元(Google)もセットで押さえましょう。
🔍 しっかり理解する
なぜ「双方向」が画期的だったのか
BERT以前の言語モデルの多くは、文を先頭から順に読んで次の単語を予測する「一方向」の学習が中心でした。しかし「彼は［ ］を口座から引き出した」の空欄を当てるには、空欄より後ろの「口座から引き出した」という情報が決定的に効きます。BERTはTransformerのエンコーダを使い、文中のすべての単語を一度に見渡せる構造にすることで、前後両方向の文脈を同時に利用した意味理解を実現しました。名前の頭のBidirectional(双方向)は、この設計思想そのものを表しています。
2つの事前学習タスク: MLMとNSP
双方向で学習するために、BERTは工夫された2つの自己教師ありタスクを使います。MLM(Masked Language Model)は、文中の一部の単語を隠して(マスクして)、前後の文脈からその単語を当てるタスクです。穴埋め問題を大量に解かせることで、ラベル付けなしの生テキストから言葉の使われ方を学べます。NSP(Next Sentence Prediction)は、2つの文を見せて「これは連続した文か、無関係な文か」を判定させるタスクで、文と文の関係を捉える力を養います。
事前学習＋ファインチューニングという型
BERTの実用上の最大の貢献は、「巨大データで事前学習した汎用モデルを、各タスク用に微調整して使う」という型を普及させたことです。
事前学習済みモデルが公開されているため、利用者はゼロから学習する必要がなく、手元の少ないデータでも高精度なモデルを作れます。日本語を含む104言語で事前学習された多言語モデルも提供され、日本語タスクにも広く応用されました。BERT登場以降、その改良版や派生モデルが次々に開発され、NLP研究の土台となりました。
💡 具体例で考える
例1: 検索エンジンの質問理解。 Googleは自社の検索エンジンにBERTを導入し、検索クエリの文脈理解を改善したと公表しています。「to」のような前置詞のニュアンス(例:「brazil traveler to usa」は"ブラジル人が米国へ"行く話)を双方向の文脈から正しく捉えられるのがBERTの強みで、この事例は「双方向理解が実益を生んだ」代表例です。
例2: 少データでの感情分析。 自社製品のレビューをポジティブ/ネガティブに分類したい企業が、公開済みのBERTを数千件程度のラベル付きレビューでファインチューニングして高精度な分類器を作る——これが「事前学習＋微調整」の典型的な使い方です。ゼロから学習すれば何百万件も必要なところを、基礎学力を流用することで大幅に節約できます。
⚠️ よくある誤解・紛らわしい用語
- GPTとの違い: GPT系は文を前から読んで次の単語を予測する生成型(Transformerのデコーダ側ベース)で、BERTは双方向で文を読み解く理解型(エンコーダ側ベース)です。「BERTは文章生成が得意」という記述は誤りと考えましょう。
- MLMとNSPの取り違え: 単語をマスクして当てるのがMLM、2文の連続性を判定するのがNSP。役割を入れ替えた選択肢が想定されます。
- 事前学習は「ラベル付きデータで行う」ではない: 事前学習はラベルなしの大量テキストから自動で問題を作る自己教師あり学習です。ラベル付きの少量データを使うのはファインチューニングの段階です。
- ELMoとの関係: ELMoも文脈を考慮した単語表現を作る先行モデルですが、BERTはTransformerを基盤に双方向学習を徹底した点で区別されます。
📝 試験でのポイント
- 「2018年・Google・Transformer基盤・双方向」の4点セットは定義問題の定番です。特にBidirectional(双方向)の意味を問う形式が想定されます。
- 事前学習の2タスク(Masked Language Model / Next Sentence Prediction)の名称と内容の対応づけは最頻出ポイントです。
- 「事前学習済みモデルをファインチューニングすることで少ないデータでも高精度」という利用形態の理解を問う問題も想定されます。
- GPTとの対比(生成型/理解型、単方向/双方向)は選択肢の作られ方として典型的です。
📚 まとめ
- BERTは2018年にGoogleが発表した、Transformer基盤の自然言語処理モデルです。
- 文脈を前後両方向から同時に捉えることで、高精度な言語理解を実現しました。
- 事前学習はMLM(マスク単語の予測)とNSP(2文の連続性判定)の2タスクで行われます。
- 事前学習済みモデルのファインチューニングにより、少ないデータで多様なタスクに転用できます。
- BERT以降、その改良・派生モデルが次々と生まれ、現代NLPの土台となりました。
