ブラックボックスと呼ばれる深層学習モデルの「判断の根拠」を可視化する技術を学ぶ項目です。XAIの考え方と、勾配を利用した代表的な可視化手法であるGrad-CAM・Integrated Gradientsの仕組みを理解します。
📖 概要
深層学習モデルは高い予測性能を持つ一方、内部で何を根拠に判断しているのかが人間には分かりにくいという問題を抱えています。医療診断や与信審査のように説明責任が求められる領域では、「なぜその予測になったのか」を示せることがモデルの採用条件になることも多く、モデルの判断を人間が理解できる形で提示する技術への需要が高まっています。この分野を総称してXAI(説明可能AI)と呼びます。
判断根拠の可視化は、XAIの中でも「入力のどの部分が予測に効いたのか」を提示するアプローチです。画像分類であれば、モデルが注目した領域をヒートマップとして元画像に重ねて表示します。この項目で扱うGrad-CAMとIntegrated Gradientsは、いずれもモデルの勾配情報を利用する手法ですが、Grad-CAMがCNNの畳み込み特徴マップを対象に粗い領域単位の注目を可視化するのに対し、Integrated Gradientsは入力の各画素(各特徴)単位で寄与を割り当てるという違いがあります。
🔍 キーワード解説
XAI (eXplainable AI)
XAI (eXplainable AI)(説明可能AI)は、AIモデルの予測や判断の根拠を人間が理解できる形で説明するための技術・研究分野の総称です。深層学習モデルはパラメータが膨大で内部表現が複雑なため「ブラックボックス」と呼ばれますが、XAIはその判断過程を可視化・言語化・近似することで、モデルの信頼性検証、デバッグ、公平性の確認、説明責任の遂行などを支援します。アプローチには、この項目で扱う「判断根拠の可視化」のほか、解釈しやすいモデルで近似する方法(LIME・SHAPなど、次項目で解説)があります。
Grad-CAM
Grad-CAM(Gradient-weighted Class Activation Mapping)は、CNNによる画像分類の判断根拠を、クラスごとのヒートマップとして可視化する手法です。手順は概ね次の通りです。
- 対象クラスのスコアを、最終畳み込み層の特徴マップで偏微分し勾配を得る
- 勾配をチャネルごとに空間方向で平均し、各チャネルの重要度(重み)とする
- 特徴マップを重み付きで足し合わせ、ReLUを適用して正の寄与のみ残す
- 得られたマップを入力画像サイズに拡大し、ヒートマップとして重ねる
ReLUを通すのは「そのクラスのスコアを上げる方向に働く領域」だけを可視化するためです。前身の手法であるCAMはGlobal Average Poolingを持つ特定の構造にしか適用できませんでしたが、Grad-CAMは勾配を使って重みを求めるため、構造を変更せずに幅広いCNNへ適用できます。一方、最終畳み込み層の解像度に依存するため、可視化は画素単位ではなく粗い領域単位になります。
Integrated Gradients
Integrated Gradients(積分勾配)は、入力の各特徴(画像なら各画素)が予測にどれだけ寄与したかを、勾配の経路積分によって割り当てる手法です。情報を持たない基準入力(ベースライン。画像では黒画像などが用いられます)から実際の入力まで直線的に補間した経路を考え、その経路上の各点でモデルの勾配を計算して積分(実装上は総和で近似)し、入力とベースラインの差を掛けて各特徴の寄与とします。
単純に「入力点での勾配」だけを使う方法では、モデルの出力が飽和している領域で勾配がほぼゼロになり、実際には重要な特徴に寄与が割り当てられないことがあります。Integrated Gradientsは経路全体の勾配を積分することでこの問題を緩和します。また、各特徴への寄与の合計が「実際の入力の出力とベースラインの出力の差」に一致するという性質(完全性)を持ち、寄与の割り当てとして理論的に望ましい公理を満たすように設計されている点が特徴です。
📝 試験でのポイント
- Grad-CAMの計算手順(クラススコアの勾配→空間平均でチャネル重み→重み付き和→ReLU)の並べ替えや穴埋めが問われやすいポイントです
- Grad-CAMで「ReLUを適用する理由」(正の寄与のみを可視化するため)、「最終畳み込み層を使う理由」(空間情報と高次の意味情報を併せ持つため)は説明できるようにしておきましょう
- CAMとGrad-CAMの違い(CAMはGAPを持つ構造が前提、Grad-CAMは勾配を使うため構造の制約が緩い)は定番の対比です
- Integrated Gradientsのキーワードは「ベースライン」「経路上の勾配の積分」です。単純な勾配可視化との違い(飽和領域での勾配消失に対処)を押さえましょう
- Grad-CAMは「領域単位のヒートマップ」、Integrated Gradientsは「特徴(画素)単位の寄与割り当て」という粒度の違いも整理しておきましょう
📚 まとめ
XAIは、ブラックボックス化しがちな深層学習モデルの判断根拠を人間に理解可能な形で提示する技術の総称です。Grad-CAMは、クラススコアの勾配で重み付けした畳み込み特徴マップからヒートマップを作り、CNNが注目した領域を可視化します。Integrated Gradientsは、ベースラインから入力までの経路上で勾配を積分し、各特徴の寄与を理論的に妥当な形で割り当てます。それぞれの計算手順と適用範囲の違いを整理しておきましょう。
