ある金融機関が SageMaker でクレジット審査モデルを本番運用しています。デプロイ時点では公平性を確認済みですが、時間経過に伴う入力データの変化で「グループ間のバイアスが本番運用中に新たに悪化していないか」を継続的

Question

ある金融機関が SageMaker でクレジット審査モデルを本番運用しています。デプロイ時点では公平性を確認済みですが、時間経過に伴う入力データの変化で「グループ間のバイアスが本番運用中に新たに悪化していないか」を継続的に監視し、検知したいと考えています。最も適切な構成はどれですか。

Accepted Answer

正解: SageMaker Clarify を SageMaker Model Monitor と統合し、本番エンドポイントでバイアスドリフトを継続監視する。SageMaker Clarify は Model Monitor と統合することで、本番エンドポイントに対してバイアスドリフトモニタリングをスケジュール実行でき、運用中にグループ間のバイアスメトリクスがベースラインから逸脱した場合に検知・アラートできます。継続的な公平性監視という要件に合致します。

選択肢Bのデータ品質モニタリングは特徴量分布のドリフト検知のみで、バイアスメトリクスは評価しない。
選択肢Cの一度きりの分析＋手動見直しは「継続的・自動的な検知」を満たさない。
選択肢Dのモデル品質モニタリングは精度劣化の監視で、グループ間のバイアスは測定しない。

Answer

SageMaker Model Monitor のデータ品質モニタリングのみを設定し、特徴量の統計分布の変化を監視する — データ品質モニタリングは入力特徴量の統計分布の変化（ドリフト）を検知する機能であり、グループ間の予測の公平性メトリクスを評価しないため、バイアスの悪化検知という要件を満たさない。

Answer

デプロイ前に SageMaker Clarify でバイアス分析を一度実施し、その結果を定期的に手動で見直す — デプロイ前の一度きりの分析と手動見直しでは、本番運用中に生じるバイアスの変化を自動で継続検知できず、データ変化に追従した継続的監視という要件に対応できない。

Answer

SageMaker Model Monitor のモデル品質モニタリングを設定し、予測精度の劣化のみを監視する — モデル品質モニタリングは予測精度（正解率など）の劣化を監視する機能であり、グループ間のバイアスメトリクスの悪化は測定対象外であるため公平性監視の要件には不適切。

解説