金融機関が SageMaker にデプロイした不正検知モデルを運用しています。入力データの統計的分布は安定しているにもかかわらず予測精度が低下しており、特徴量の重要度（モデルへの寄与度）が経時的に変化する「概念ドリフト」

Question

金融機関が SageMaker にデプロイした不正検知モデルを運用しています。入力データの統計的分布は安定しているにもかかわらず予測精度が低下しており、特徴量の重要度（モデルへの寄与度）が経時的に変化する「概念ドリフト」を早期検出したいと考えています。この要件を最も適切に満たすアプローチはどれですか？

Accepted Answer

正解: SageMaker Clarify ベースのモニタリングを有効化し、SHAP 値を用いた特徴量帰属ドリフトを定期測定してしきい値超過時にアラートを発行する。SageMaker Clarify は SHAP（SHapley Additive exPlanations）値を用いて各特徴量がモデル予測に与える影響を定量化します。SageMaker Model Monitor の Clarify ベースモニタリングを使用すると、推論データをキャプチャしながら特徴量帰属ドリフト（Feature Attribution Drift）を定期計算し、ベースラインからの逸脱をアラートとして発行できます。入力分布が安定していても特徴量の重みが変化する概念ドリフトを独立して検出できる点が特徴です。

選択肢Aの SageMaker Model Monitor のデータ品質ジョブは平均・標準偏差・欠損率などの統計的分布変化（データドリフト）を検出しますが、特徴量帰属（重要度）の変化を直接測定する機能はありません。
選択肢Cのカスタム Lambda アプローチは実装・運用コストが高く、Clarify の組み込み機能で同等以上の結果が得られるため最も効率的ではありません。
選択肢Dの SageMaker Experiments は実験追跡ツールであり、本番推論データに対するリアルタイムの概念ドリフト検出には対応していません。

Answer

SageMaker Model Monitor のデータ品質ジョブにカスタム制約条件を追加し、各特徴量の統計的分布変化を検知するルールを詳細に定義する — SageMaker Model Monitor のデータ品質ジョブは特徴量の統計量（平均・分散・欠損率など）の変化を検出しますが、SHAP 値ベースの特徴量帰属ドリフトを測定する機能はありません。入力分布が安定したまま概念ドリフトが起きるケースの検出には不十分です。

Answer

Lambda 関数を定期実行してエンドポイントのキャプチャデータを取得し、Scikit-learn でカスタム重要度スコアを計算して DynamoDB に記録する — Lambda によるカスタム実装は柔軟性があるものの、エンドポイントキャプチャとの統合・スケーリング・エラーハンドリングをすべて自前で構築する必要があり、Clarify の組み込み機能と比較して開発・運用コストが大幅に高くなります。

Answer

SageMaker Experiments で異なる期間のデータを使った再トレーニング実験を定期実行し、特徴量重要度の変化を実験比較レポートで確認する — SageMaker Experiments は実験の追跡・比較に使うツールであり、本番エンドポイントへのライブ推論データに対するリアルタイムモニタリングには対応していません。定期的な再トレーニングはドリフト検出後の対応策であり、早期検出の仕組みではありません。

解説

解説