小売業の需要予測モデルを本番運用中のMLエンジニアは、モデルの予測精度が徐々に低下していることに気付いた。SageMaker Model MonitorのData Quality Monitorでは特徴量の統計的分布（平

Question

小売業の需要予測モデルを本番運用中のMLエンジニアは、モデルの予測精度が徐々に低下していることに気付いた。SageMaker Model MonitorのData Quality Monitorでは特徴量の統計的分布（平均・標準偏差）に有意な変化は検出されていない。しかし、モデルが予測に使う特徴量の重み付けが変化している可能性を調査したい。この状況を検出するために最も適切なSageMaker Model Monitorの監視タイプはどれですか？

Accepted Answer

正解: Feature Attribution Drift Monitor（SageMaker Clarify連携） — SHAP値（SHapley Additive exPlanations：各特徴量のモデル予測への貢献度指標）の変化を監視してモデルの判断根拠のドリフトを検出する。Feature Attribution Drift MonitorはSageMaker Clarifyと連携し、SHAP値を用いて各特徴量がモデル予測に与える影響の変化を時系列で追跡する。特徴量の分布が変化しなくても、モデルが異なる特徴量に依存するようになる「概念ドリフト」を検出できる。Data Quality Monitorは分布変化の検出が主目的、Model Quality Monitorは予測精度の低下確認（正解ラベルが必要）、Bias Drift Monitorは公平性の変化追跡であり、いずれも今回の調査目的に直接対応しない。

Answer

Data Quality Monitor（データ品質モニター） — 特徴量の統計量を監視して新たなドリフトパターンを追加ルールで検出する — データ品質モニターは分布変化を検出しますが、各特徴量の相対的な重要度変化（概念ドリフト）は検出できません。

Answer

Model Quality Monitor（モデル品質モニター） — 予測値と正解ラベルを比較してモデル精度の低下原因を特定する — モデル品質モニターは予測精度の低下確認に使いますが、正解ラベルが必要であり、正解が遅れるモデルでは実用的ではありません。

Answer

Bias Drift Monitor（SageMaker Clarify連携） — 保護属性（例：地域・カテゴリ）に対する予測の公平性変化を監視する — 保護属性の公平性変化を監視しますが、今回は予測の判断根拠のドリフト検出が目的です。

解説