単語を低次元の実数ベクトルで表現するWord Embedding(単語埋め込み)を学ぶ項目です。Word2vecを中心に、その学習方式であるCBOW・skip-gramと、効率化手法のネガティブサンプリングまでを扱います。
📖 概要
自然言語をニューラルネットワークで扱うには、単語を数値に変換する必要があります。最も素朴なone-hotベクトルは、語彙数と同じ次元を持ち該当単語の位置だけが1になる表現ですが、次元が巨大になるうえ、どの2単語の間の距離も等しく、意味の近さを表現できません。Word Embeddingは、単語を数百次元程度の密な実数ベクトルに写像し、意味の近い単語がベクトル空間上でも近くに配置されるようにする表現学習の技術です。
この考え方の背景には「単語の意味はその周囲に現れる単語(文脈)によって特徴づけられる」という分布仮説があります。深層学習以前にも、文書と単語の共起行列を次元圧縮して潜在的な意味を抽出する潜在的意味インデキシング（LSI）などの手法がありました。Word2vecは、この分布仮説をシンプルなニューラルネットワークで実現した代表的な手法で、CBOWとskip gramという2つの学習方式を持ちます。
Word2vecの学習では語彙全体にわたるソフトマックス計算が重いという問題があり、ネガティブサンプリングなどの近似手法で効率化されます。学習された単語ベクトルは、意味的な類似度計算や、king - man + woman ≈ queen のような加法構成性を示すことが知られ、後のBERTなどの文脈化された埋め込みへとつながる基礎となりました。
🔍 キーワード解説
潜在的意味インデキシング（LSI）
潜在的意味インデキシング（LSI）は、文書×単語の共起行列(どの文書にどの単語が何回現れるか)を特異値分解によって低ランク近似し、文書や単語を潜在的な意味空間のベクトルとして表現する古典的手法です。表層の単語が一致しなくても意味的に関連する文書・単語を近づけられるため、情報検索に応用されてきました。カウントベースの手法の代表であり、ニューラルネットワークで予測的に埋め込みを学ぶWord2vecとの対比で押さえておきましょう。
n-gram
n-gramは、連続するn個の要素(単語や文字)の並びのことです。たとえば「私 は 学生」を単語2-gram(バイグラム)で見ると「私 は」「は 学生」になります。伝統的な言語モデルでは、直前のn-1個の単語から次の単語の確率を推定するn-gram言語モデルが使われてきました。局所的な語順情報を捉えられる一方、nを大きくするとデータ中に出現しない組み合わせが急増する(スパースになる)という限界があり、これがニューラル言語モデルや埋め込み表現への動機の1つになりました。
Word2vecとCBOW・skip gram
Word2vecは、浅いニューラルネットワークで単語の分散表現を学習する手法群で、2つの方式があります。CBOW(Continuous Bag-of-Words)は、周囲の文脈語から中心の単語を予測するように学習します。文脈語のベクトルを平均する(語順を無視する=bag-of-words)のが名前の由来です。一方skip gramは逆に、中心の単語から周囲の文脈語を予測するように学習します。1つの中心語から複数の文脈語を予測するため学習例が実質的に多くなり、低頻度語の表現学習に有利とされる一方、CBOWより学習コストは高くなる傾向があります。どちらも学習後に得られる重み行列の行が各単語の埋め込みベクトルになります。
ネガティブサンプリング
Word2vecの出力層で語彙全体(数十万語規模)にわたるソフトマックスを計算するのは非常に高コストです。ネガティブサンプリングは、この多クラス分類を「正しい(中心語, 文脈語)のペアか、無関係なペアか」を見分ける2値分類の集合に置き換える近似手法です。実際に共起した正例1つに対し、語彙からランダムに抽出した少数(数個〜十数個程度)の単語を負例として使い、正例のスコアを高く、負例のスコアを低くするように学習します。全語彙の計算が不要になるため、学習が大幅に高速化されます。
📝 試験でのポイント
- CBOWとskip gramの方向の違い(CBOW=文脈→中心語、skip gram=中心語→文脈)は最頻出です。逆にした誤り選択肢に注意しましょう
- ネガティブサンプリングの目的(ソフトマックスの計算量削減)と仕組み(2値分類化+少数の負例サンプリング)を説明できるようにしましょう
- one-hot表現の課題(高次元・疎・意味の近さを表せない)と分散表現の利点の対比が問われます
- LSIがカウントベース+特異値分解、Word2vecが予測ベースのニューラル手法という分類を整理しておきましょう
- n-gramの定義(連続するn個の並び)は具体例で数えさせる形式もあり得ます
📚 まとめ
Word Embeddingは、単語を意味の近さを反映した低次元の密ベクトルで表す技術です。古典的にはLSIのようなカウントベース手法があり、Word2vecはCBOW(文脈から中心語を予測)とskip gram(中心語から文脈を予測)という2方式のニューラル手法でこれを実現しました。学習の効率化にはネガティブサンプリングが用いられます。BERTなどの現代的な言語モデルを理解する土台となる項目です。
