MLAMLモデルの開発

ECサイトのMLエンジニアが、クレジットカードの不正利用を検知するバイナリ分類モデルを構築しています。データセットは正常取引999件に対して不正取引1件(99.9%:0.1%)という極端なクラス不均衡が存在します。全サンプルを「正常」と予測するだけで正解率99.9%が得られますが、このモデルは実際には役に立ちません。クラス不均衡の影響を受けにくく、モデルの総合的な分類性能を評価するために最も適切なメトリクスはどれですか?

A
正解率(Accuracy:(TP+TN)/(TP+TN+FP+FN)):全予測に占める正解予測の割合
正解率(Accuracy)は99.9%:0.1%の不均衡では多数クラスに偏った評価になり不正検知には不適切です。
B
特異度(Specificity:TN/(TN+FP)):正常取引を正しく正常と判定する割合
特異度(Specificity)は正常取引の検出精度のみ評価するため不向きです。
C
AUC-ROC(ROC曲線下面積):全分類閾値にわたる真陽性率と偽陽性率のトレードオフを総合評価する指標
✓ 正解
AUC-ROCは全ての分類閾値にわたる真陽性率(TPR)と偽陽性率(FPR)のトレードオフを評価し、クラス不均衡の影響を受けにくい総合的な指標です。
D
精度(Precision:TP/(TP+FP)):不正と予測したうち実際に不正だった割合
精度(Precision)単体は偽陰性(不正の見逃し)を考慮しないため不十分です。

解説

AUC-ROCは全ての分類閾値にわたる真陽性率(TPR)と偽陽性率(FPR)のトレードオフを評価し、クラス不均衡の影響を受けにくい総合的な指標です。 選択肢Aの正解率(Accuracy)は99.9%:0.1%の不均衡では多数クラスに偏った評価になり不正検知には不適切です。 選択肢Bの特異度(Specificity)は正常取引の検出精度のみ評価するため不向きです。 選択肢Dの精度(Precision)単体は偽陰性(不正の見逃し)を考慮しないため不十分です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
MLA の問題一覧に戻る