【G検定】GLUE（General Language Understanding Evaluation）

【G検定まとめ】要点整理＆当日用カンペの項目別詳解ページです。

詳細な知識や実装は試験には必ずしも必須ではありませんが、試験対策として理解を深めたい方はぜひ最後までご覧ください。

G検定まとめはこちら

GLUE（General Language Understanding Evaluation）

GLUE（General Language Understanding Evaluation）は、自然言語処理（NLP）モデルが言語をどれだけ正確に理解しているかを評価するためのベンチマーク（評価基準）です。このベンチマークは、特に英語圏の自然言語処理においてデファクトスタンダードとなっており、新しいAI言語モデルを発表する際に「GLUEスコア」を掲載することが一般的になっています。

GLUEは、文の類似度の判断や感情のポジティブ・ネガティブ判定など、複数の指定された自然言語処理タスクの性能を評価し、これらの総合値によってモデルの言語理解能力が測定されます。このベンチマークは2019年に開発され、BERTやGPTのようなマルチタスク自然言語処理モデルのパフォーマンスを評価するために使われています。公開されているデータセットを基にしており、それを組み合わせてテストデータとして使用します。

GLUEには以下のようなタスクが含まれています：

タスク名	説明
CoLA	文が英語文法として正しいかを判定する
SST-2	映画レビューの感情を分析する
MRPC	2つの文が同じ意味を持つかを評価する
STS-B	文のペアの意味的類似性を5段階で評価する
QQP	Quoraで出された2つの質問が意味的に同等かどうかを判定する
MNLI	2つの文の含意関係を判定する
SQuAD	ウィキペディアから質問の答えを見つける
QNLI	質問と文のペアが正しい回答を含んでいるかを評価する
RTE	2つの文の含意関係を判定する
WNLI	代名詞が置換された文が元の文と一致しているかを判定する

JGLUE(Japanese General Language Understanding Evaluation)

JGLUEは、日本語の自然言語理解（NLU）能力を測定するために作られたベンチマークです。これは「Japanese General Language Understanding Evaluation」の略で、早稲田大学とヤフー株式会社の共同研究により2022年に構築・公開されました。JGLUEは、英語圏の自然言語処理のための標準ベンチマークであるGLUE（General Language Understanding Evaluation）の日本語版として公開されており、日本語のNLU研究を促進することを目的としています。

このベンチマークは、テキスト分類、文ペア分類、そして質問応答（QA）の3種類のタスクで構成されています。これらのタスクは、日本語で書かれたテキストがどの程度正確に理解できるか、または特定の言語理解モデルがどの程度の性能を持っているかを評価するために使用されます。JGLUEは、利用申請など不要で、誰でも使用できるようになっており、研究者や開発者が簡単にアクセスできるように設計されています。