G検定 - つくもち屋

2026年5月28日

ロボットに強化学習で歩き方を学ばせるとき、実機で何万回も転ばせるわけにはいきません。そこで「シミュレーションの中で学習させて、覚えた方策を実世界に持ち込む」のがsim2realです。カギとなるのは、仮想と現実の間に横たわる「リアリティギャップ」をどう埋めるかです。

2026年5月27日

「広告費を増やしたら売上はどれくらい伸びるのか？」——1つの原因候補と1つの結果の関係を直線で捉えるのが単回帰分析です。回帰分析のいちばん小さな最小構成であり、ここでの考え方(直線の式・最小二乗法・残差)がそのまま重回帰や機械学習全体の土台になります。

2026年5月27日

「良い応答」に点数をつける数式は書けなくても、人間なら2つの応答を見比べて「こちらが良い」と選べます。この人間の判断を報酬の代わりに使う強化学習がRLHFです。ChatGPTを支えた技術として有名ですが、本記事では強化学習の応用としての仕組みを軸に解説します。

2026年5月27日

明日の売上を予測する一番自然な材料は、昨日までの売上です。「自分自身の過去」を説明変数にして未来を予測する——これが自己回帰モデル(ARモデル)です。時系列データ分析の基本であり、複数系列を扱うVARモデルとの区別がG検定のポイントになります。

2026年5月27日

DQNの登場後、その弱点を補う改良手法が次々と提案されました。「ならば全部まとめて使えばもっと強いのでは？」——この発想を実行し、名前のとおり複数の手法を虹のように束ねたのがRainbowです。深層強化学習の発展史を1つのキーワードで総復習できる重要用語です。