金融機関が住宅ローン審査のためのMLモデルをSageMakerで構築しています。モデルをトレーニングする前に、学習データセット内の特定の人口統計グループ（性別・年齢層など）に対する統計的な偏り（バイアス）を検出し、定量的

Question

金融機関が住宅ローン審査のためのMLモデルをSageMakerで構築しています。モデルをトレーニングする前に、学習データセット内の特定の人口統計グループ（性別・年齢層など）に対する統計的な偏り（バイアス）を検出し、定量的に評価したいと考えています。この要件を最も直接的に満たすSageMakerの機能はどれですか？

Accepted Answer

正解: SageMaker Clarifyの事前トレーニングバイアス分析（Pre-training bias analysis）を実行し、CI（クラス不均衡比率）やDPL（グループ間のラベルポジティブ比率差）などのメトリクスで偏りを定量化する。SageMaker Clarifyの事前トレーニングバイアス分析は、学習データ内の偏りを定量化する専用機能です。CI（Class Imbalance：クラス不均衡比率）、DPL（Difference in Positive Proportions in Labels：グループ間のラベルポジティブ比率差）などのメトリクスで統計的バイアスを検出します。

選択肢Aは、SageMaker Model Monitorのデータ品質モニタリング機能を使うと本番データと学習データの分布差を監視しますが、トレーニング前の学習データ内のバイアスを定量化する機能ではありません。

選択肢Cは、SageMaker Data Wranglerのデータプロファイリング機能で各カラムの統計情報（平均・中央値・標準偏差）を確認しますが、人口統計グループ間の統計的バイアスを定量化する専用機能ではありません。

選択肢Dは、SageMaker Autopilotで複数モデルを自動探索し各モデルのAUC-ROCスコアを比較しても、バイアスを間接的に検出するだけで、定量的なバイアスメトリクスは提供しません。

Answer

SageMaker Model Monitorのデータ品質モニタリング機能を使って、本番データと学習データの分布差を監視する — SageMaker Model Monitorのデータ品質モニタリング機能を使うと、本番データと学習データの分布差を監視しますが、トレーニング前の学習データ内のバイアスを定量化する機能ではありません。

Answer

SageMaker Data Wranglerのデータプロファイリング機能で各カラムの統計情報（平均・中央値・標準偏差）を確認する — SageMaker Data Wranglerのデータプロファイリング機能は各カラムの統計情報（平均・中央値・標準偏差）を確認しますが、人口統計グループ間の統計的バイアスを定量化する専用機能ではありません。

Answer

SageMaker Autopilotで複数のモデルを自動探索し、各モデルのAUC-ROC（二値分類の総合評価指標）スコアを比較してバイアスを間接的に検出する — SageMaker Autopilotで複数モデルを自動探索し各モデルのAUC-ROCスコアを比較しても、バイアスを間接的に検出するだけで、定量的なバイアスメトリクスは提供しません。

解説

解説