ある企業は、2つの二項分類モデルを比較しています。データセットには陽性データが10%、陰性データが90%含まれています。クラスの偏り(不均衡データ)の影響を受けにくく、モデル全体の識別能力を評価したい場合、最も適切な評価指標はどれですか。
正解は「ROC-AUC」です。ROC-AUCは、分類のしきい値を変化させた場合の真陽性率(TPR)と偽陽性率(FPR)の関係を表すROC曲線の下面積であり、分類器全体の識別性能を評価する指標です。データにクラスの偏りがある場合でも、Accuracyより適切にモデルを比較できることが多くあります。 選択肢「Accuracy(正解率)」は不均衡データでは高い値になりやすく、実際の性能を過大評価することがあります。陰性が90%のデータで全件陰性と予測しても90%の正解率になるケースがあります。 選択肢「BLEU」は機械翻訳の品質を評価するための指標であり、分類モデルの性能評価には適していません。 選択肢「ROUGE」は文章要約の品質を評価するための指標であり、分類問題の性能評価とは無関係です。AWS Certified AI Practitionerでは、データの特性に応じて適切な評価指標を選択できることが重要です。