ある金融サービス企業が、与信審査モデルをSageMakerリアルタイムエンドポイントで運用しています。規制当局から「本番推論中に保護属性（性別・年齢層）に対する予測バイアスを継続的に検出し、Disparate Impac

Question

ある金融サービス企業が、与信審査モデルをSageMakerリアルタイムエンドポイントで運用しています。規制当局から「本番推論中に保護属性（性別・年齢層）に対する予測バイアスを継続的に検出し、Disparate Impact（差別的扱い指標）が閾値を超えた場合に自動で再学習をトリガーする仕組みを実装すること」と指示されました。訓練データには保護属性のファセット列が含まれており、ベースラインとして使用可能です。この要件を最も適切に実装する方法はどれか。

Accepted Answer

正解: SageMaker ModelBiasMonitor を設定し、訓練データからバイアスベースラインを作成。1時間スケジュールでDisparate Impactを継続算出し、CloudWatch アラームで閾値超過を検知して EventBridge 経由で再学習 Pipeline をトリガーする。SageMaker ModelBiasMonitor（Clarify Bias Monitor）は本番推論中の予測バイアスを継続的に監視する専用モニタリングクラスです。訓練データからDisparate Impact（DI）・差別的確率差（DPPL）等の公平性指標のベースラインを作成し、スケジュール実行で推論キャプチャデータのバイアス指標を定期計算します。
Disparate Impactはグラウンドトゥルースラベルを必要とせず予測値と保護属性のみで算出できるため、ラベルの遅延到着を待たずに即時検出が可能です。CloudWatch Metricsへのバイアス指標出力とアラーム設定、EventBridgeルールによる再学習パイプライン自動トリガーまでを一貫して実現できます。

選択肢BのDefaultModelMonitor（データ品質モニター）は入力データの統計的分布変化（欠損値・型異常・数値分布）を検出しますが、保護属性グループ間の予測バイアス（Disparate Impact等の公平性指標）を直接計算・検出する機能を持たず、要件を満たせない。

選択肢CのClarifyExplainabilityMonitorはSHAP値ベースの特徴量寄与度ドリフトを検出しますが、SHAP値の変化はDisparate Impact等の公平性指標と等価でなく、保護属性グループ間の差別的扱いを直接定量化する指標を算出できない。

選択肢DのModelQualityMonitorは精度・適合率・再現率等の予測品質指標をモニタリングしますが、グループ別の公平性指標（Disparate Impact等）の算出には対応しておらず、グラウンドトゥルースラベルの遅延到着に依存するため継続的なリアルタイムバイアス検出の要件とも合致しない。

Answer

SageMaker DefaultModelMonitor（データ品質）を設定し、入力データにおける保護属性の統計的分布変化を1時間ごとに検出。ファセット列の偏りを CloudWatch アラームで検知し、EventBridge 経由で再学習 Pipeline をトリガーする — DefaultModelMonitor（データ品質）は入力データの統計分布変化（平均・標準偏差・欠損率など）を検出する機能で、保護属性グループ間の予測バイアス（Disparate Impact等の公平性指標）を直接算出・モニタリングする機能を持たず、規制当局が要求するバイアス検出要件を満たせない。

Answer

SageMaker ClarifyExplainabilityMonitor を設定して保護属性の SHAP 値ドリフトを1時間ごとに検出し、ベースラインからの特徴量寄与度の逸脱を CloudWatch アラームで検知して自動再学習をトリガーする — ClarifyExplainabilityMonitorはSHAP値ベースの特徴量寄与度ドリフトを検出するが、SHAP値の変化はDisparate Impactなどの公平性指標と数学的に等価でなく、保護属性グループ間の差別的扱いを直接定量化できないため、規制当局の要求する公平性指標の継続モニタリングとして不適切。

Answer

SageMaker ModelQualityMonitor を設定し、グラウンドトゥルースラベルが到着次第に保護属性グループ別の適合率・再現率ドリフトを評価して CloudWatch アラームで閾値違反を検知し、EventBridge 経由で再学習をトリガーする — ModelQualityMonitorは全体の精度・適合率・再現率を測定するが、保護属性グループ別の公平性指標（Disparate Impact等）の算出には非対応。加えてグラウンドトゥルースラベルの到着に依存するため、ラベル遅延が発生する与信審査では継続的なリアルタイムバイアス検出が困難となる。

解説

解説