消費者ローン審査モデルをSageMakerリアルタイムエンドポイントで本番運用しています。規制当局から「時間の経過とともにモデルの予測に各特徴量が与える影響（寄与度）が変化していないか定量的に監視し報告すること」という要

Question

消費者ローン審査モデルをSageMakerリアルタイムエンドポイントで本番運用しています。規制当局から「時間の経過とともにモデルの予測に各特徴量が与える影響（寄与度）が変化していないか定量的に監視し報告すること」という要件が新たに課せられました。入力データ分布の変化だけでなく、各特徴量がモデルの判断に与えるSHAP値の変動を継続的に検出する最も適切なアプローチはどれですか？

Accepted Answer

正解: SageMaker Model Monitor の特徴量帰属ドリフトモニタリングを有効化し、SageMaker Clarify と連携してSHAP値の分布変化を定期的に算出・ベースラインと比較する。SageMaker Model Monitor の特徴量帰属ドリフト（Feature Attribution Drift）モニタリングは、SageMaker Clarify の SHAP（SHapley Additive exPlanations）アルゴリズムと連携して各特徴量が予測に与える影響の変化を定期的に定量化する機能です。ベースライン計算時の SHAP 値分布と本番推論の SHAP 値分布を統計的に比較し、特定の特徴量の影響が有意に変化した場合に CloudWatch アラームで通知できます。入力データ分布の変化とは独立してモデルの「判断根拠の変化」を検出できるため、規制コンプライアンス要件に最適なアプローチです。

選択肢Aのデータ品質モニタリングは入力データの統計的分布変化（平均・分散など）は検出できますが、SHAP 値に基づく特徴量の寄与度変化の監視はできません。
選択肢Cの SageMaker Debugger はトレーニング中のテンソルデバッグに特化しており、本番エンドポイントでの SHAP 値継続監視には対応していません。
選択肢Dの Amazon QuickSight は BI ツールであり、SHAP 値の自動算出や統計的なドリフト検定機能を持ちません。

Answer

SageMaker Model Monitor のデータ品質モニタリングを設定し、各特徴量の平均・標準偏差などの統計をベースラインと定期的に比較してデータドリフトを検出する — データ品質モニタリングは入力特徴量の統計的分布変化（平均・標準偏差・分位点など）を追跡するが、各特徴量がモデル予測に与える影響（SHAP値）の変動を定量的に検出する機能は持たない。

Answer

SageMaker Debugger でトレーニング中の特徴量重要度テンソルを記録し、本番エンドポイントの推論ログと照合してモデルの判断基準変化を分析する — SageMaker Debuggerはトレーニングジョブ中のテンソル値の記録・分析に特化しており、本番エンドポイントでのリアルタイム推論に対するSHAP値の継続的なスケジュール監視には対応していない。

Answer

Amazon QuickSight にCloudWatchエンドポイントメトリクスを接続し、特徴量ごとの推論パターンをダッシュボードで可視化して人手でドリフトを判定する — Amazon QuickSightはデータ可視化・BI分析ツールであり、SHAP値の自動算出や統計的ドリフト検定を実行する機能を持たない。人手による目視判定では継続的な自動監視という要件を満たせない。

解説

解説