G検定
【G検定】形態素解析とは?日本語を単語に分ける自然言語処理の第一歩をわかりやすく解説

「私は台所で料理します」という文をコンピュータに理解させるには、まず文を単語に切り分ける必要があります。この最初の関門を担うのが形態素解析です。特に単語の区切りが見えない日本語では、自然言語処理のすべての土台になる重要技術です。

続きを読む
G検定
【G検定】機械翻訳とは?ルールベースから統計的・ニューラルへの進化を解説

Google翻訳やDeepLで外国語の文章が一瞬で日本語になる——いまや当たり前のこの技術は、「規則」「統計」「ニューラルネットワーク」と手法を乗り換えながら進化してきました。本記事では、機械翻訳の3世代の発展史と、現在の主流であるニューラル機械翻訳(NMT)の仕組みをやさしく解説します。

続きを読む
G検定
【G検定】感情分析とは?テキストからポジネガを判定する技術をわかりやすく解説

レビューサイトの星の数を読まなくても、文章そのものから「ほめているのか、怒っているのか」を機械が判定できたら——それを実現するのが感情分析です。本記事では、辞書を使うルールベースと機械学習ベースという2大アプローチ、そして日本語ならではの難しさをやさしく解説します。

続きを読む
G検定
【G検定】word2vecとは?王−男性+女性=女王で有名な単語ベクトル化を解説

「王」−「男性」+「女性」=「女王」。単語の意味を足し算・引き算できるようにした技術として、自然言語処理の歴史に残るのがword2vecです。本記事では、単語をベクトルにするとは何か、CBOWとスキップグラムという2つの学習方式、そしてその後のモデルへの影響をやさしく解説します。

続きを読む
G検定
【G検定】TF-IDFとは?文書の中で重要な単語を見つける計算をわかりやすく解説

文書の中で「どの単語が重要か」を、出現回数だけで決めると「です」「ます」のようなありふれた語ばかりが上位に来てしまいます。この問題を賢く解決するのがTF-IDFです。本記事では、TFとIDFという2つの部品の意味と計算の考え方をやさしく解説します。

続きを読む