AIF責任あるAIのガイドライン

Amazon SageMaker Clarifyが提供するバイアス指標の一つ「Disparate Impact(DI)」が0.65であるとき、この値が示す意味として正しいものはどれですか?

A
不利グループ(例:少数派)の陽性予測率が有利グループの65%であり、一般的な閾値(0.8)を下回るため有意な格差が存在すると判断される
✓ 正解
Disparate Impact(DI)は「不利グループの陽性予測率÷有利グループの陽性予測率」で計算される公平性指標です。DIが0.65はEEOCの80%ルールを下回り、有意な差別的偏りが存在することを示します。
B
モデルの全体的な予測精度が65%であり、改善が必要な水準であることを示す
65%はDisparate Impactという公平性指標であり、モデルの全体的な予測精度ではありません。水準評価ではなく格差検出です。
C
トレーニングデータのうち65%のサンプルにバイアスが含まれていることを示す
Disparate Impactは計算値であり、トレーニングデータ内のバイアス含有率を示すものではありません。
D
各特徴量のうち上位65%がモデルの予測に寄与していることを示すSHAP値の集計結果
SHAP値は各入力特徴量のモデル予測への寄与度を示す説明可能AI手法であり、公平性検出指標であるDisparate Impactとは異なる概念です。

解説

Disparate Impact(DI)は「不利グループの陽性予測率 ÷ 有利グループの陽性予測率」で計算される公平性指標。米国雇用機会均等委員会(EEOC)が定める「80%ルール」では0.8未満(または1.25超)を有意な格差と判断します。DIが0.65は不利グループへの陽性予測が有利グループの65%しかなく、差別的偏りが存在することを示します。 SageMaker Clarifyはトレーニングデータとモデル予測の両方でこの指標を算出できます。 SHAP(SHapley Additive exPlanations)値は各入力特徴量がモデル予測にどれだけ寄与したかを数値化する説明可能AI(XAI)手法であり、バイアス検出指標であるDIとは異なる概念です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIF の問題一覧に戻る