eコマース企業が顧客の購買行動予測モデルをSageMakerリアルタイムエンドポイントにデプロイしています。モデルの予測精度は許容範囲内ですが、データサイエンスチームはコロナ禍後の消費者行動の変化により「訪問頻度」や「過

Question

eコマース企業が顧客の購買行動予測モデルをSageMakerリアルタイムエンドポイントにデプロイしています。モデルの予測精度は許容範囲内ですが、データサイエンスチームはコロナ禍後の消費者行動の変化により「訪問頻度」や「過去購入額」といった特徴量がモデルの予測結果に与える影響度が時系列的に変化している可能性を懸念しています。SHAP（SHapley Additive exPlanations：各特徴量が個々の予測にどれだけ貢献しているかを定量化する手法）値を使用してこの変化を継続的に検出したい場合、どのSageMaker機能を使用すべきですか？

Accepted Answer

正解: SageMaker ClarifyをベースにしたSageMaker Model Monitorの特徴量帰属ドリフトモニタリング（Feature Attribution Drift Monitoring）を設定する。特徴量帰属ドリフトモニタリングはSageMaker ClarifyのSHAP値を活用し、各特徴量がモデル予測に与える影響度の経時的変化を検出します。

選択肢AのSageMaker Model Monitor のデータ品質モニタリング（Data Quality Monitoring）は、入力特徴量の統計的分布の変化を検出しますが特徴量の重要度変化は捉えられません。

選択肢BのSageMaker Model Monitor のモデル品質モニタリング（Model Quality Monitoring）は、グラウンドトゥルースとの比較が必要で、特徴量の影響度変化を直接測定できません。

選択肢DのSageMaker Debugger のカスタムルールは、トレーニング中にのみ動作するためデプロイ後の監視には使用できません。

Answer

SageMaker Model Monitor のデータ品質モニタリング（Data Quality Monitoring）を設定し、入力特徴量の統計的分布の変化を検出する — SageMaker Model Monitor のデータ品質モニタリング（Data Quality Monitoring）は、入力特徴量の統計的分布の変化を検出しますが特徴量の重要度変化は捉えられません。

Answer

SageMaker Model Monitor のモデル品質モニタリング（Model Quality Monitoring）を設定し、予測精度指標の劣化を追跡する — SageMaker Model Monitor のモデル品質モニタリング（Model Quality Monitoring）は、グラウンドトゥルースとの比較が必要で、特徴量の影響度変化を直接測定できません。

Answer

SageMaker Debugger のカスタムルールを作成して、トレーニング中の特徴量重要度の変化を監視する — SageMaker Debugger のカスタムルールは、トレーニング中にのみ動作するためデプロイ後の監視には使用できません。

解説

解説