MLAMLソリューションの監視、メンテナンス、セキュリティ
金融サービス会社が SageMaker を使用してローン審査モデルをトレーニングしています。規制要件として、モデルが特定の保護属性(性別・人種など)に基づいて不公平な判断を行っていないことを証明する必要があります。また、本番デプロイ後もモデルのバイアスを継続監視する必要があります。この要件を最小限の運用負荷で満たすアーキテクチャとして最も適切なものはどれですか?
ASageMaker Clarify を使用してトレーニング前後のバイアスレポートを生成し、SageMaker Model Monitor の Bias Monitor をエンドポイントに設定して継続的なバイアス検出を行う
✓ 正解
SageMaker Clarify はトレーニングデータのバイアス分析(Pre-training bias)とモデル予測のバイアス分析(Post-training bias)をマネージドサービスとして提供し、Disparate Impact等の指標を算出できます。さらに SageMaker Model Monitor の Bias Monitor と組み合わせることで、本番環境のバイアスドリフトを継続監視でき、最小限の運用負荷で規制要件を満たせます。
Bカスタム Python スクリプトで公平性指標(Disparate Impact 等)を計算し、結果を DynamoDB に保存、定期的に QuickSight ダッシュボードで可視化する
カスタムPythonスクリプトは、カスタムスクリプト・DynamoDB・QuickSightを組み合わせた独自実装であり、開発・運用負荷が大きく「最小限の運用負荷」要件を満たしません。
CAWS Audit Manager でコンプライアンスフレームワークを設定し、SageMaker トレーニングジョブのログを自動収集して規制レポートを生成する
AWS Audit Managerは、コンプライアンス証跡の自動収集ツールであり、MLモデルのバイアス指標を算出・検出する機能を持ちません。
DSageMaker Debugger でトレーニング中のテンソル値を監視し、保護属性の影響度が閾値を超えた場合にトレーニングを自動停止する
SageMaker Debuggerは、トレーニング中のテンソル値やグラジェントを監視するデバッグツールであり、保護属性に基づく公平性指標の算出や本番環境での継続的バイアス監視には対応していません。
解説
選択肢AのSageMaker Clarify はトレーニングデータのバイアス分析(Pre-training bias)とモデル予測のバイアス分析(Post-training bias)をマネージドサービスとして提供し、Disparate Impact等の指標を算出できます。さらに SageMaker Model Monitor の Bias Monitor と組み合わせることで、本番環境のバイアスドリフトを継続監視でき、最小限の運用負荷で規制要件を満たせます。
選択肢BのカスタムPythonスクリプトは、カスタムスクリプト・DynamoDB・QuickSightを組み合わせた独自実装であり、開発・運用負荷が大きく「最小限の運用負荷」要件を満たしません。
選択肢CのAWS Audit Managerは、コンプライアンス証跡の自動収集ツールであり、MLモデルのバイアス指標を算出・検出する機能を持ちません。
選択肢DのSageMaker Debuggerは、トレーニング中のテンソル値やグラジェントを監視するデバッグツールであり、保護属性に基づく公平性指標の算出や本番環境での継続的バイアス監視には対応していません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →