MLAMLソリューションの監視、メンテナンス、セキュリティ
消費者向けローン審査AIを本番運用している企業が、以下の2要件を満たすSageMaker機能の組み合わせを検討しています(米国ECOA(平等信用機会法)への準拠対応)。
・モデルの予測が時間の経過とともに特定の年齢層や性別に対して不公平になっていないかを継続的に監視する
・どの特徴量がモデルの予測判断に最も影響しているかの変化を追跡する
この要件に最も適したSageMakerの機能の組み合わせはどれですか?
ASageMaker Model MonitorのData Quality MonitoringとSageMaker Debugger
SageMaker Model MonitorのData Quality MonitoringとSageMaker Debugger の組み合わせはデータスキーマやNull値の変化検出が目的であり、公平性監視には対応していません。
BSageMaker ClarifyによるBias Drift MonitoringとFeature Attribution Drift Monitoring(SHAPベース)
✓ 正解
SageMaker Clarifyは本番エンドポイントで2種類のドリフト監視を提供します。Bias Drift Monitoringは特定の人口統計グループ間の予測差異(例:年齢・性別による承認率の乖離)を継続的に検出します。Feature Attribution Drift MonitoringはSHAP(SHapley Additive exPlanations:ゲーム理論に基づく特徴量重要度の計算手法)を用いてモデルの予測根拠となる特徴量の重みの変化を追跡します。
CSageMaker Model MonitorのModel Quality MonitoringとCloudWatchカスタムメトリクスの組み合わせ
SageMaker Model MonitorのModel Quality MonitoringとCloudWatchカスタムメトリクスの組み合わせはモデルの予測精度の全体的な変化は追跡しますが、特定の人口統計グループごとの公平性ドリフトは検出できません。
DSageMaker AutopilotによるモデルのリトレーニングとSageMaker Experimentsによる実験比較
SageMaker AutopilotによるモデルのリトレーニングとSageMaker Experimentsによる実験比較は非継続的であり、本番運用中のリアルタイムドリフト監視には対応していません。
解説
SageMaker Clarifyは本番エンドポイントで2種類のドリフト監視を提供します。Bias Drift Monitoringは特定の人口統計グループ間の予測差異(例:年齢・性別による承認率の乖離)を継続的に検出します。Feature Attribution Drift MonitoringはSHAP(SHapley Additive exPlanations:ゲーム理論に基づく特徴量重要度の計算手法)を用いてモデルの予測根拠となる特徴量の重みの変化を追跡します。
選択肢AのSageMaker Model MonitorのData Quality MonitoringとSageMaker Debugger の組み合わせはデータスキーマやNull値の変化検出が目的であり、公平性監視には対応していません。
選択肢CのSageMaker Model MonitorのModel Quality MonitoringとCloudWatchカスタムメトリクスの組み合わせはモデルの予測精度の全体的な変化は追跡しますが、特定の人口統計グループごとの公平性ドリフトは検出できません。
選択肢DのSageMaker AutopilotによるモデルのリトレーニングとSageMaker Experimentsによる実験比較は非継続的であり、本番運用中のリアルタイムドリフト監視には対応していません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →