MLAMLソリューションの監視、メンテナンス、セキュリティ
金融機関が SageMaker で構築した与信スコアリングモデルをリアルタイムエンドポイントとして運用しています。規制当局の要件により、「性別」「年齢」などのセンシティブ属性（機密性の高い個人属性）に基づく予測の偏り（バイアス）を定期的に定量化し、学習時から乖離していないかを監視しなければなりません。最も適切な構成はどれですか？
ASageMaker Model Monitor の DefaultModelMonitor でモニタリングスケジュールを作成し、入力データの統計的分布変化を監視する
DefaultModelMonitorは入力データの統計分布変化を検知しますが、センシティブ属性ごとのバイアスメトリクス（DPPL、DI等）の計算機能はありません。バイアスの定量分析には対応していません。
BSageMaker Clarify を用いてセンシティブ属性ごとのバイアスメトリクスのベースラインを作成し、Model Monitor の ClarifyModelBiasMonitor でスケジュール監視を設定する
✓ 正解
SageMaker Clarifyはモデルバイアスの定量分析に特化しており、学習データのバイアスベースライン作成と、ClarifyModelBiasMonitorによる本番エンドポイントのバイアスドリフト監視の両方をサポートします。DPPL、DI等のバイアスメトリクスを計算できます。
CAWS Trusted Advisor のセキュリティチェックでモデルの公平性レポートを定期生成する
AWS Trusted Advisorはセキュリティやコスト最適化のチェック機能を提供しますが、MLモデルのバイアス分析機能は持ちません。その領域に対応するサービスではありません。
D予測値を CloudWatch カスタムメトリクスに送信し、属性ごとの平均値を手動でダッシュボード確認する
CloudWatchカスタムメトリクスで属性ごとの平均値を手動で確認するのは、バイアスメトリクスの自動計算や統計的有意性検定ができず、運用負荷が高く非推奨です。
解説
選択肢AのDefaultModelMonitorは入力データの統計分布変化（データドリフト）を検知するものであり、センシティブ属性ごとのバイアスメトリクスの計算はできません。
選択肢BのSageMaker Clarifyはモデルバイアスの定量分析に特化したサービスです。学習データのバイアスベースライン作成と、本番エンドポイントのバイアスドリフト監視（ClarifyModelBiasMonitor）の両方に対応しており、DPPL（Difference in Positive Proportions in Labels：ラベルの正例割合差）やDI（Disparate Impact：予測結果の格差比）等のバイアスメトリクスを自動算出して規制要件を満たせます。
選択肢CのAWS Trusted AdvisorはAWSアカウントのベストプラクティスチェックツールであり、MLモデルのバイアス分析機能は持ちません。
選択肢DのCloudWatchカスタムメトリクスによる手動監視では、規制当局が求める定量的なバイアス分析に対応できず、属性ごとの偏り計算を独自実装する必要があるため運用負荷も高くなります。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →