MLチームは、SageMaker Clarifyを使用して本番モデルの公平性（Fairness）を継続的に監視するシステムを構築しています。3ヶ月前にトレーニングしたローン審査モデルが、特定の年齢層に対して承認率の偏りを

Question

MLチームは、SageMaker Clarifyを使用して本番モデルの公平性（Fairness）を継続的に監視するシステムを構築しています。3ヶ月前にトレーニングしたローン審査モデルが、特定の年齢層に対して承認率の偏りを示し始めた可能性があります。SageMaker Clarifyのバイアス監視機能を使って本番データのバイアスドリフト（時間経過によるバイアスの変化）を自動検出するための正しいアプローチはどれですか？

Accepted Answer

正解: SageMaker Model MonitorのModelBiasMonitorでベースラインのバイアスメトリクスと本番キャプチャデータを定期比較し、DI等の指標の違反をCloudWatch Alarmで自動検知する。SageMaker Model MonitorはModelBiasMonitorクラスを通じてSageMaker Clarifyの公平性メトリクスを本番データに対して定期実行できる。DI（Disparate Impact：保護属性グループ間の予測結果比率。1.0が理想、低いほど不公平）などのバイアス指標をベースラインと比較してドリフトを自動検出し、CloudWatch Alarmで通知する。これがClarifyのバイアス監視機能の正式な本番運用パターンです。

選択肢Bは手動レビューフローであり、継続的な自動監視の要件を満たせません。

選択肢CはSageMaker Experimentsを使ったカスタム実装で運用効率が低く、継続的な自動監視には適していません。

選択肢DはLambdaを使ったカスタム実装で運用効率が低く、継続的な自動監視の要件を満たせません。

Answer

SageMaker Clarifyの説明可能性レポートを毎週手動実行して結果をS3に保存し、データサイエンティストが各サイクルで偏り傾向を手作業で分析するレビューフローを運用する — 「SageMaker Clarifyの説明可能性レポートを毎週手動で実行」は手動実行で継続的な自動監視の要件を満たせません。

Answer

SageMaker Experimentsにバイアス関連指標をカスタムメトリクスとして記録し、複数回のトレーニング実行間の差分比較でバイアスの経時的な変化を確認する手動フローを構築する — 「SageMaker Experimentsでバイアス指標をカスタムメトリクス」はカスタム実装で運用効率が低く継続的な自動監視の要件を満たせません。

Answer

本番エンドポイントへの推論リクエストをLambdaでサンプリングしてS3に蓄積し、カスタムバイアス計算とCloudWatch Logs Insightsクエリを組み合わせた週次バッチ分析を行う — 「本番エンドポイントへの推論リクエストをLambda」はカスタム実装で運用効率が低く継続的な自動監視の要件を満たせません。

解説

解説