G検定
【G検定】バリュー(Value)とは?Attentionで取り出される「中身」の役割を解説

クエリ(Query)・キー(Key)・バリュー(Value)——Attention機構の3点セットの最後を締めくくるのがバリューです。クエリとキーの照合で「どこに注目するか」が決まったあと、実際に出力へ運ばれる「中身」がバリュー。Attentionの出力がどう作られるのかは、バリューを理解して初めて完結します。

続きを読む
G検定
【G検定】プライバシー・バイ・デザインとは?7つの基本原則と提唱者カブキアンをわかりやすく解説

個人情報の問題が起きてから謝罪して直すのではなく、システムを作り始める最初の段階からプライバシー保護を組み込んでおく——。この設計思想が「プライバシー・バイ・デザイン」です。AI倫理の章で、プライバシー保護の中心的なキーワードとして登場します。

続きを読む
E資格
【E資格】線形回帰を徹底解説|最小二乗法・L1/L2正則化・Lasso回帰とRidge回帰

線形回帰は、入力変数の線形結合で連続値を予測する最も基本的な教師あり学習の手法です。最小二乗法によるパラメータ推定と、L1/L2正則化を加えたLasso回帰・Ridge回帰の違いを理解することは、深層学習における正則化を学ぶ土台にもなります。

続きを読む
G検定
【G検定】クエリ(Query)とは?Attentionの「検索リクエスト」の役割をわかりやすく解説

Attention機構を動かす3つのベクトル、クエリ(Query)・キー(Key)・バリュー(Value)。本記事はその起点となる「クエリ」を解説します。クエリは、検索でいえばあなたが検索窓に打ち込む検索ワード——「探しに行く側」のリクエストです。ここが分かるとAttentionの計算全体が見通せます。

続きを読む
G検定
【G検定】キー(Key)とは?Attentionで照合される「見出しラベル」の役割を解説

Attention機構の計算には、クエリ(Query)・キー(Key)・バリュー(Value)という3つのベクトルが登場します。本記事はそのうち「キー」に焦点を当てます。キーは、検索でいえば本に付けられた見出しラベル——「探されるのを待つ側」の目印です。3つの役割分担が分かれば、Attentionの計算式は一気に読めるようになります。

続きを読む