複雑なモデルを「解釈しやすい単純なモデル」で近似することで判断根拠を説明する手法を学ぶ項目です。局所的な解釈と大域的な解釈の区別を押さえたうえで、代表手法であるLIMEと、協力ゲーム理論のShapley値に基づくSHAPを理解します。
📖 概要
前項目の可視化手法が主に画像とCNNを対象としていたのに対し、この項目で扱うのは「モデルの中身を直接のぞく代わりに、解釈可能な単純モデルで振る舞いを近似する」というアプローチです。この方法は、モデルの入出力だけを利用するため、ニューラルネットワーク・勾配ブースティングなどモデルの種類を問わず適用できる(モデル非依存である)ことが大きな利点です。
説明の範囲によって、ある1つの予測の根拠を説明する「局所的な解釈」と、モデル全体の傾向を説明する「大域的な解釈」に分けられます。LIMEは局所的な解釈の代表手法で、注目する予測の近傍だけを線形モデルなどで近似します。SHAPは協力ゲーム理論のShapley値を特徴量の寄与配分に応用した手法で、1件ごとの局所的な説明を与えつつ、それを集計して大域的な傾向の把握にも使える点が特徴です。E資格では、各手法の仕組みと「局所/大域」「モデル非依存」といった分類軸が問われやすい項目です。
🔍 キーワード解説
局所的な解釈
局所的な解釈は、「この1件の入力に対して、なぜこの予測になったのか」という個別の予測単位の説明です。たとえば「この申込者の与信スコアが低いのは、収入とローン残高の特徴が効いたため」といった説明が該当します。複雑なモデルでも、注目する入力のごく近傍に限れば単純なモデルで近似できる、という発想が基盤になっています。
大域的な解釈
大域的な解釈は、「モデル全体として、どの特徴量がどのように予測へ影響しているか」というモデル単位の説明です。特徴量重要度のランキングや、特徴量の値と寄与の関係の全体傾向などが該当します。局所的な説明を多数のサンプルで集計して大域的な解釈を構成することもでき、SHAPはこの使い方が広く知られています。
LIME
LIME(Local Interpretable Model-agnostic Explanations)は、説明したい1件の予測の近傍でモデルを解釈可能な単純モデルに近似する、局所的・モデル非依存の説明手法です。手順は概ね次の通りです。
- 説明したい入力の周辺に、特徴を少しずつ変化させた(摂動させた)サンプルを多数生成する
- 元のモデル(ブラックボックス)で各サンプルの予測値を得る
- 元の入力に近いサンプルほど大きな重みを与え、予測値を再現するように解釈可能なモデル(スパースな線形モデルなど)を学習する
- 得られた単純モデルの係数を「その予測における各特徴の寄与」として提示する
近似はあくまで注目点の近傍でのみ有効であり、モデル全体の説明にはならない点、摂動サンプルの作り方や近傍の定義によって説明が変わりうる点が注意点です。
協力ゲーム理論とShapley Value
協力ゲーム理論は、複数のプレイヤーが協力して得た成果(報酬)を、各プレイヤーの貢献に応じて公平に分配する方法などを研究するゲーム理論の一分野です。その代表的な解概念が Shapley Value(シャープレイ値)で、「プレイヤーが連合に参加したときの成果の増分(限界貢献)を、あらゆる参加順序について平均した値」として各プレイヤーの取り分を定めます。効率性(全員の取り分の合計が全体の成果に一致する)や対称性など、公平な分配が満たすべき性質を満たす配分として知られています。
SHAP
SHAP(SHapley Additive exPlanations)は、Shapley値の枠組みを機械学習の説明に応用した手法です。「特徴量=プレイヤー」「予測値と基準値(平均的な予測)との差=分配すべき成果」とみなし、各特徴量の寄与(SHAP値)をShapley値として割り当てます。各特徴量のSHAP値の合計が「その予測値と基準値の差」に一致するという加法的な構造を持つため、1件の予測を「基準値+各特徴の寄与の和」として一貫した形で説明できます。
厳密なShapley値の計算は特徴量の部分集合すべてを考慮する必要があり、特徴量数に対して指数的な計算量になるため、実用上は近似計算が用いられます。1件ごとの局所的な説明に加え、多数のサンプルのSHAP値を集計することで特徴量重要度などの大域的な解釈にも利用できます。
📝 試験でのポイント
- 「局所的な解釈」と「大域的な解釈」の区別、および LIME=局所、SHAP=局所(集計で大域にも利用可)という対応づけが問われやすいポイントです
- LIMEの手順(摂動サンプル生成→ブラックボックスで予測→近傍重み付きで単純モデルを学習)の並べ替え・穴埋めに備えましょう
- SHAPの理論的基盤が「協力ゲーム理論のShapley値」であること、特徴量をプレイヤー、予測値と基準値の差を分配対象とみなすことは定番の出題ポイントです
- SHAP値の加法性(寄与の合計=予測値と基準値の差)は、計算問題としても問われうる性質です
- LIME・SHAPは「モデル非依存(model-agnostic)」で適用できる点が、CNNの構造を前提とするGrad-CAM(前項目)との違いです
📚 まとめ
モデルの近似による説明は、ブラックボックスモデルの入出力の振る舞いを解釈可能なモデルで再現するアプローチで、個別予測を説明する局所的な解釈と、モデル全体の傾向を示す大域的な解釈に分けられます。LIMEは注目する予測の近傍を摂動サンプルで近似する局所的手法、SHAPは協力ゲーム理論のShapley値により各特徴量へ寄与を公平に配分する手法です。分類軸(局所/大域、モデル非依存)と各手法の仕組みを対応づけて整理しておきましょう。
