G検定
【G検定】単語埋め込みとは?word2vec・GloVe・fastTextによる単語のベクトル化を解説

コンピュータは「王」や「女王」という文字をそのままでは計算できません。単語を「意味を反映した数値ベクトル」に変換して、計算できる形に落とし込む——この技術が単語埋め込み(word embedding)です。word2vecをはじめとする具体的な手法とともに、現代の自然言語処理の土台となった考え方です。

続きを読む
G検定
【G検定】スキップグラムとは?CBOWとの違いで覚えるword2vecの学習方式を解説

「単語の意味は、その周りに現れる単語でわかる」——この考え方を学習タスクに落とし込んだのがスキップグラム(Skip-gram)です。word2vecを支える2つの学習方式の1つで、「中心の単語から周辺の単語を予測する」という一見遠回りな訓練を通じて、単語の意味を捉えたベクトルを獲得します。

続きを読む
G検定
【G検定】情報検索とは?検索エンジンの仕組みと大規模言語モデルがもたらす変化を解説

毎日使う検索エンジンの裏側では、あなたの入力した数語から意図を読み取り、膨大なデータの中から関連する情報を選び出して順位付けする技術が動いています。これが情報検索です。近年はChatGPTのような大規模言語モデルの登場で、この分野に大きな変化が起きています。

続きを読む
G検定
【G検定】質問応答とは?抽出型と生成型の違い・SQuAD・ワトソンをわかりやすく解説

「日本で一番高い山は?」と聞けば「富士山です」と答えが返ってくる——このように、人の質問に対して答えそのものを返す技術が質問応答です。クイズ番組で人間王者を破ったIBMワトソンから、BERTやGPT系の大規模言語モデルまで、自然言語処理の代表的な応用タスクとして発展してきました。

続きを読む
G検定
【G検定】構文解析とは?句構造文法・依存文法と係り受け解析の違いをわかりやすく解説

「私は父と映画を観ました」——この文には「父と一緒に観た」「父を題材にした映画を観た」という2通りの読み方があります。文の構造を機械に解き明かさせ、こうした関係性を明らかにするのが構文解析です。形態素解析の次に来る、自然言語処理の重要ステップです。

続きを読む