MLAMLソリューションの監視、メンテナンス、セキュリティ
消費者金融会社が SageMaker でローン審査モデルをデプロイしています。規制当局から「本番推論データにおける人種・性別などのセンシティブ属性グループ間での予測格差(バイアスドリフト)を継続的に計測・報告すること」を求められました。最小限の運用負荷でこの要件を満たすソリューションはどれですか?
ASageMaker Model Monitor のデータ品質モニタリングスケジュールを設定し、入力特徴量の統計分布が基準データから逸脱した場合に CloudWatch アラームを発生させる
Model Monitor のデータ品質モニタリングは、入力特徴量の統計分布の変化を検出しますが、属性グループ間のバイアス指標を計測する機能は持ちません。
BSageMaker Clarify のバイアスモニタリングを Model Monitor と組み合わせて設定し、Disparate Impact(不均等影響)などのバイアス指標をグループ別に定期計測して閾値超過時に SNS で通知する
✓ 正解
SageMaker Clarify はデプロイ後のバイアスモニタリングに対応しており、Model Monitor のスケジューリング基盤と統合して本番推論データを定期分析できます。Disparate Impact(不均等影響)や Class Imbalance(クラス不均衡)などのバイアス指標をセンシティブ属性(Facet)別に計測し、閾値逸脱時に CloudWatch 経由で SNS 通知が可能です。
CSageMaker Debugger でモデルトレーニング中にバイアス指標を記録し、トレーニングごとにバイアスレポートを生成して S3 に保存する
SageMaker Debuggerは、トレーニング時の監視であり、デプロイ後の継続的バイアス計測には対応していません。
DAmazon SageMaker Ground Truth で本番データに人手ラベルを付与し、グループ別の精度を週次で集計して手動レポートを作成する
SageMaker Ground Truthは、データラベリングサービスであり、推論データのバイアス計測には使用できず、週次の手動集計は運用負荷が高く要件を満たしません。
解説
SageMaker Clarify はデプロイ後のバイアスモニタリングに対応しており、Model Monitor のスケジューリング基盤と統合して本番推論データを定期分析できます。Disparate Impact(不均等影響)や Class Imbalance(クラス不均衡)などのバイアス指標をセンシティブ属性(Facet)別に計測し、閾値逸脱時に CloudWatch 経由で SNS 通知が可能です。
選択肢AのModel Monitor のデータ品質モニタリングは、入力特徴量の統計分布の変化を検出しますが、属性グループ間のバイアス指標を計測する機能は持ちません。
選択肢CのSageMaker Debuggerは、トレーニング時の監視であり、デプロイ後の継続的バイアス計測には対応していません。
選択肢DのSageMaker Ground Truthは、データラベリングサービスであり、推論データのバイアス計測には使用できず、週次の手動集計は運用負荷が高く要件を満たしません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →