G検定
【G検定】GPT-nとは?次の単語を予測して文章を生む自己回帰モデルを解説

ChatGPTの頭文字にもなっている「GPT」。その正体は、ひたすら「次の単語」を予測するように訓練された言語モデルの系譜です。本記事では、GPT-nと総称されるモデル群の仕組みと、GPT-3で示された「大規模化の威力」をやさしく解説します。

続きを読む
G検定
【G検定】GLUEとは?言語理解モデルの共通ベンチマークをわかりやすく解説

「うちのモデルは言語を理解できています」と言われても、どう確かめればよいのでしょうか。その物差しとして世界標準になったのがGLUEです。本記事では、GLUEが何を測るベンチマークなのか、SuperGLUEやJGLUEとの関係も含めてやさしく解説します。

続きを読む
G検定
【G検定】fastTextとは?サブワードで未知語に強い単語ベクトルをわかりやすく解説

word2vecの弱点だった「知らない単語」への対応を、単語を部分文字列に分解するアイデアで乗り越えたのがfastTextです。本記事では、名前のとおり高速なこのライブラリの仕組みと、サブワードという発想のうまさをやさしく解説します。

続きを読む
G検定
【G検定】ELMoとは?文脈で変わる単語埋め込みの先駆けをわかりやすく解説

同じ単語でも、文が違えば意味は変わります。この当たり前の事実をベクトル表現に持ち込んだのがELMoです。本記事では、word2vecなどの「固定された単語ベクトル」と何が違うのか、なぜBERTやGPTにつながる転換点とされるのかをやさしく解説します。

続きを読む
G検定
【G検定】ChatGPTとは?GPTシリーズを基盤とする対話型AIの仕組みを解説

いまや「AI」の代名詞となったChatGPT。G検定でも、単なるサービス名としてではなく「GPTシリーズ・Transformer・事前学習」といった技術用語と結びつけて問われます。この記事では、話題性の裏にある技術の構造を整理して理解します。

続きを読む