あるSaaS企業が、SageMakerリアルタイムエンドポイントで稼働する与信スコアリングモデルを監視しています。本番トラフィックの入力特徴量の統計分布は安定しているものの、実際の貸し倒れ実績（正解ラベル）とモデル予測の

Question

あるSaaS企業が、SageMakerリアルタイムエンドポイントで稼働する与信スコアリングモデルを監視しています。本番トラフィックの入力特徴量の統計分布は安定しているものの、実際の貸し倒れ実績（正解ラベル）とモデル予測のズレが時間とともに拡大していることが懸念されています。正解ラベルは数週間遅れで確定します。この「予測と実測の乖離」を継続的に検知するために最も適切なSageMaker Model Monitorの監視タイプはどれですか。

Accepted Answer

正解: Model Quality Monitoring を有効化し、遅れて到着する正解ラベルとキャプチャ済み推論結果を結合して精度メトリクスの劣化を検知する。予測値と実測ラベルの乖離（コンセプトドリフト）を検知するのは Model Quality Monitoring。
Data Capture でエンドポイントの推論結果を保存し、後から確定した正解ラベル（ground truth）をS3に取り込んで結合（merge）し、Accuracy・F1・AUCなどのメトリクスをベースラインと比較して劣化を検知する。
ラベルが遅れて確定するユースケースに対応する設計になっている。

選択肢Aの Data Quality Monitoring は入力特徴量の統計・欠損・型の逸脱のみを見るため、分布が安定している本ケースでは乖離を検知できない。
選択肢Cの Model Bias Drift Monitoring は属性グループ間の公平性指標の変化を監視するもので、全体精度の劣化検知が目的ではない。
選択肢Dの Feature Attribution Drift Monitoring は特徴量寄与度の変化（説明性のドリフト）を見るもので、実測ラベルとの乖離を直接測るものではない。

Answer

Data Quality Monitoring を有効化し、入力特徴量の欠損率やデータ型の逸脱を検知する — 入力分布の逸脱のみを監視するため、特徴量の分布が安定している本ケースでは予測と実測の乖離を検知できない。正解ラベルを使った精度評価の仕組みを持たないため、コンセプトドリフトの検出には不適。

Answer

Model Bias Drift Monitoring を有効化し、属性グループ間の予測格差の変化を検知する — 属性グループ間の予測格差（バイアス）の経時変化を監視する機能であり、全体の予測精度劣化を測る目的ではないため、本ケースの乖離検知には適さない。

Answer

Feature Attribution Drift Monitoring を有効化し、各特徴量の寄与度の変化を検知する — SHAPベースの特徴量寄与度の変化を監視する説明性ドリフト用の機能であり、実測ラベルとの精度乖離を直接評価できないため要件を満たさない。

解説

解説