無限ノック › MLA 練習問題一覧 › 問題MLA MLソリューションの監視、メンテナンス、セキュリティ
ある企業が、Amazon SageMakerのリアルタイムエンドポイントに二値分類モデルをデプロイしています。数ヶ月後にモデルの予測精度が低下し始め、MLチームは「トレーニング時と比べて推論リクエストの入力特徴量の統計的分布が変化している」と仮説を立てました。この分布の変化（データドリフト）を自動的に検出・アラート通知するために、SageMaker Model Monitorで設定すべきモニタータイプはどれですか？
A データ品質モニター（Data Quality Monitor）：推論入力データの統計的プロパティ（平均・標準偏差・分布など）をトレーニング時のベースラインと比較して監視する
✓ 正解
データ品質モニター（Data Quality Monitor）は、エンドポイントに送られる推論リクエストの入力特徴量について、平均・標準偏差・分位数・欠損値率などの統計量をトレーニング時に作成したベースラインと継続的に比較します。入力特徴量の統計的分布の変化（コバリエイトシフト）を検出する用途に最も適しています。
B モデル品質モニター（Model Quality Monitor）：推論結果と実際のグランドトゥルースラベルを比較し、精度・AUC-ROCなどのモデルパフォーマンス指標を監視する
モデル品質モニター（Model Quality Monitor）は推論結果と実際のグランドトゥルースラベルを比較し、精度・AUC-ROCなどのモデルパフォーマンス指標を監視するものであり、入力データの統計分布の変化を検出する機能ではありません。
C バイアスドリフトモニター（Bias Drift Monitor）：本番環境での推論結果における特定の属性グループへの予測バイアスの変化を監視する
バイアスドリフトモニター（Bias Drift Monitor）は本番環境での推論結果における特定の属性グループへの予測バイアスの変化を監視するものであり、入力データの統計分布の変化を検出する機能ではありません。
D 特徴量帰属ドリフトモニター（Feature Attribution Drift Monitor）：SHAP（SHapley Additive exPlanations）値を用いて、各特徴量がモデル予測に与える影響度の変化を監視する
特徴量帰属ドリフトモニター（Feature Attribution Drift Monitor）はSHAP値を用いて各特徴量がモデル予測に与える影響度の変化を監視するものであり、入力データの統計分布の変化を検出する機能ではありません。
解説 データ品質モニター（Data Quality Monitor）は、エンドポイントに送られる推論リクエストの入力特徴量について、平均・標準偏差・分位数・欠損値率などの統計量をトレーニング時に作成したベースラインと継続的に比較します。入力特徴量の統計的分布の変化（コバリエイトシフト）を検出する用途に最も適しています。
選択肢Bのモデル品質モニター（Model Quality Monitor）は推論結果と実際のグランドトゥルースラベルを比較し、精度・AUC-ROCなどのモデルパフォーマンス指標を監視するものであり、入力データの統計分布の変化を検出する機能ではありません。
選択肢Cのバイアスドリフトモニター（Bias Drift Monitor）は本番環境での推論結果における特定の属性グループへの予測バイアスの変化を監視するものであり、入力データの統計分布の変化を検出する機能ではありません。
選択肢Dの特徴量帰属ドリフトモニター（Feature Attribution Drift Monitor）はSHAP値を用いて各特徴量がモデル予測に与える影響度の変化を監視するものであり、入力データの統計分布の変化を検出する機能ではありません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →