【G検定】相互情報量とは？「知ると不確実性がどれだけ減るか」を測る指標をやさしく解説
2026年6月18日
天気予報を見れば、傘を持つべきかどうかの迷いは減ります。このように「一方を知ることで、もう一方についての不確実性がどれだけ減るか」を数値化したものが相互情報量です。情報理論の考え方をベースに、エントロピーとの関係、相関係数では捉えられない関係まで測れる強みを解説します。
【G検定】RMSpropとは？過去の勾配を「忘れる」ことでAdaGradを改善した手法を解説
2026年6月18日
AdaGradの弱点「学習率が下がり続けて学習が止まる」を、たったひとつの発想転換——古い勾配情報を指数的に「忘れる」——で解決したのがRMSpropです。のちにAdamの片翼となる第二モーメントの計算法はここで確立されました。系譜の中継点として、前後のつながりごと理解しましょう。
【G検定】AMSBoundとは？AMSGradに学習率の上限・下限を加えた改良手法を解説
2026年6月18日
Adamの収束の不具合を直したAMSGrad。そのAMSGradに、さらに「学習率の天井と底」を付けて安定させたのがAMSBoundです。AdaBoundと同時に提案された兄弟手法で、G検定では「何をベースに、何を加えたのか」という系譜の整理が問われます。名前が似た手法との区別を最優先に押さえましょう。
【G検定】相関係数とは？-1から1で関係の強さを測る指標を計算例つきで解説
2026年6月18日
「勉強時間が長い人ほど点数が高い」「気温が上がるとアイスが売れる」——2つのデータの関係の強さをひとつの数値で表せたら便利です。それを実現するのが相関係数です。-1から1という範囲の意味、共分散との関係、そして「相関があっても因果があるとは限らない」という重要な注意点まで、計算例つきで解説します。
【G検定】Adamとは？MomentumとRMSpropを融合した定番最適化アルゴリズムを解説
2026年6月18日
深層学習のオプティマイザで「迷ったらまずこれ」と言われるほど広く使われているのがAdamです。勾配の「方向の勢い」を活かすMomentumと、「歩幅の自動調整」を行うRMSpropという2つの系統の長所を1つに融合し、さらにバイアス補正という独自の仕上げを加えた、最適化手法の系譜の集大成的な存在です。