G検定
【G検定】コサイン類似度とは?ベクトルの向きで「似ている度合い」を測る仕組みを計算例で解説

「この2つの文書はどれくらい似ているか」を数値にできたら、検索も推薦も一気に賢くなります。それを可能にするのが、データをベクトルにして「向きの近さ」を測るコサイン類似度です。自然言語処理や推薦システムの定番指標を、手計算できる例つきで解説します。

続きを読む
G検定
【G検定】共分散とは?正負の意味と相関係数との関係を計算例でやさしく解説

身長が高い人ほど体重も重い——このような「2つの変数が一緒に動く傾向」を1つの数値で表すのが共分散です。相関係数や主成分分析の土台になる重要指標ですが、単位に依存するというクセもあります。計算の仕組みから相関係数との関係まで、具体的な数値例で解説します。

続きを読む
G検定
【G検定】勾配爆発問題とは?RNNで学習が発散する原因と勾配クリッピングを解説

学習を始めた途端に誤差がどんどん大きくなり、ついには数値があふれて学習が壊れてしまう——。深いネットワークやRNNで起こりやすいこのトラブルが「勾配爆発問題」です。有名な「勾配消失問題」とちょうど逆向きの現象で、G検定では両者の対比と対策(勾配クリッピング)がよく問われます。

続きを読む
G検定
【G検定】帰無仮説とは?対立仮説・P値・有意水準との関係をやさしく解説

「新しい施策に効果があった」とデータで主張したいとき、統計学ではあえて逆の「効果がない」という仮説を立てて、それを崩しにいきます。この崩される役割を担うのが帰無仮説です。仮説検定の流れ、対立仮説・P値・有意水準との関係まで、コイン投げの例で丁寧に解説します。

続きを読む
G検定
【G検定】リッジ回帰とは?L2正則化で安定した予測を作る回帰手法を解説

変数同士が似たり寄ったりのデータで線形回帰を組むと、係数が不安定に暴れる——この悩みに効くのがリッジ回帰です。L2正則化を回帰に応用した手法として、ラッソ回帰との使い分けまで含めて解説します。

続きを読む