G検定
【G検定】PaLMとは?5,400億パラメータのGoogle大規模言語モデルを解説

GPT-3が口火を切った大規模言語モデル競争の中で、Googleが2022年に投入したのがPaLMです。本記事では、5,400億パラメータという規模の意味、PaLM 2への進化とGoogle製品への展開、そして後継Geminiへ続く流れをやさしく解説します。

続きを読む
G検定
【G検定】n-gramとは?テキストをN個ずつ区切る基本手法をわかりやすく解説

文章をコンピュータで扱う最も素朴で強力な方法のひとつが、「N個ずつ区切って数える」ことです。本記事では、自然言語処理の土台であるn-gramの考え方と、ユニグラム・バイグラム・トライグラムの違い、日本語処理での意外な便利さをやさしく解説します。

続きを読む
G検定
【G検定】GPT-nとは?次の単語を予測して文章を生む自己回帰モデルを解説

ChatGPTの頭文字にもなっている「GPT」。その正体は、ひたすら「次の単語」を予測するように訓練された言語モデルの系譜です。本記事では、GPT-nと総称されるモデル群の仕組みと、GPT-3で示された「大規模化の威力」をやさしく解説します。

続きを読む
G検定
【G検定】GLUEとは?言語理解モデルの共通ベンチマークをわかりやすく解説

「うちのモデルは言語を理解できています」と言われても、どう確かめればよいのでしょうか。その物差しとして世界標準になったのがGLUEです。本記事では、GLUEが何を測るベンチマークなのか、SuperGLUEやJGLUEとの関係も含めてやさしく解説します。

続きを読む
G検定
【G検定】fastTextとは?サブワードで未知語に強い単語ベクトルをわかりやすく解説

word2vecの弱点だった「知らない単語」への対応を、単語を部分文字列に分解するアイデアで乗り越えたのがfastTextです。本記事では、名前のとおり高速なこのライブラリの仕組みと、サブワードという発想のうまさをやさしく解説します。

続きを読む