AIFAIとMLの基礎

ある企業は、2つの二項分類モデルを比較しています。データセットには陽性データが10%、陰性データが90%含まれています。クラスの偏り(不均衡データ)の影響を受けにくく、モデル全体の識別能力を評価したい場合、最も適切な評価指標はどれですか。

A
ROC-AUC
✓ 正解
ROC-AUCは分類のしきい値変化に伴う真陽性率と偽陽性率の関係を曲線で表した指標で、不均衡データでもモデル全体の識別性能を適切に評価できます。
B
Accuracy(正解率)
Accuracyは全体の正解率を示しますが、陰性90%のデータでは全件陰性予測でも90%になる可能性があり、不均衡データでは実力を反映しません。
C
BLEU
BLEUは機械翻訳の品質を評価するための指標です。分類モデルの性能や識別能力を評価する用途では使用されません。
D
ROUGE
ROUGEは文章要約の品質を評価するための指標です。分類問題やROC曲線とは無関係であり、本問の目的には適していません。

解説

正解は「ROC-AUC」です。ROC-AUCは、分類のしきい値を変化させた場合の真陽性率(TPR)と偽陽性率(FPR)の関係を表すROC曲線の下面積であり、分類器全体の識別性能を評価する指標です。データにクラスの偏りがある場合でも、Accuracyより適切にモデルを比較できることが多くあります。 選択肢「Accuracy(正解率)」は不均衡データでは高い値になりやすく、実際の性能を過大評価することがあります。陰性が90%のデータで全件陰性と予測しても90%の正解率になるケースがあります。 選択肢「BLEU」は機械翻訳の品質を評価するための指標であり、分類モデルの性能評価には適していません。 選択肢「ROUGE」は文章要約の品質を評価するための指標であり、分類問題の性能評価とは無関係です。AWS Certified AI Practitionerでは、データの特性に応じて適切な評価指標を選択できることが重要です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIF の問題一覧に戻る