採用候補者を評価するMLモデルをAmazon SageMaker Clarifyで分析したところ、特定の人口統計グループの候補者が他グループと比較して「採用推奨」される割合が著しく低いことが判明しました。このグループ間の

Question

採用候補者を評価するMLモデルをAmazon SageMaker Clarifyで分析したところ、特定の人口統計グループの候補者が他グループと比較して「採用推奨」される割合が著しく低いことが判明しました。このグループ間の結果比率の格差を定量化するために使用されているSageMaker Clarifyのpost-training（学習後）バイアスメトリクスはどれですか？

Accepted Answer

正解: 不均等影響（Disparate Impact：DI）：グループ間の有利な結果の選択率を比率で表すメトリクス。Disparate Impact（DI：不均等影響）は、異なる人口統計グループ間で有利な結果（採用推奨など）が得られる割合の比率を測定するpost-trainingバイアスメトリクスです。SageMaker Clarifyはこのメトリクスを算出して、学習済みモデルが特定グループに不公平な影響を与えていないかを評価します。DIが1.0に近いほど公平で、1.0から大きく乖離するほどグループ間の不均等が大きいことを示します。

選択肢AのKLダイバージェンス（Kullback-Leibler Divergence）は、SageMaker ClarifyではPre-training（学習前）バイアスメトリクスとして定義されており、post-trainingメトリクスのカテゴリには含まれません。

選択肢Cの正規化相互情報量（Normalized Mutual Information：NMI）は、SageMaker Clarifyのバイアスメトリクスとして採用されていません。

選択肢Dの受信者動作特性曲線（ROC-AUC）は、モデル全体の二値分類性能を評価する指標であり、グループ間の結果比率の格差（公平性）を定量化するものではありません。

Answer

KLダイバージェンス（Kullback-Leibler Divergence）：二つの確率分布の乖離度を測定する情報理論的指標 — KLダイバージェンス（Kullback-Leibler Divergence）は、SageMaker ClarifyではPre-training（学習前）バイアスメトリクスとして定義されており、post-trainingメトリクスのカテゴリには含まれません。

Answer

正規化相互情報量（Normalized Mutual Information：NMI）：二つの変数間の統計的依存性の強さを示す指標 — 正規化相互情報量（Normalized Mutual Information：NMI）は、SageMaker Clarifyのバイアスメトリクスとして採用されていません。

Answer

受信者動作特性曲線（ROC-AUC）：モデルの二値分類性能を評価する指標 — 受信者動作特性曲線（ROC-AUC）は、モデル全体の二値分類性能を評価する指標であり、グループ間の結果比率の格差（公平性）を定量化するものではありません。

解説

解説