MLAMLモデルの開発
二値分類モデルを評価しています。データセットは陽性サンプルが全体の1%しか存在しません。この状況でモデル性能を評価する指標として最も適切なものはどれですか。
AAccuracy
クラスが極端に偏ったデータでは多数派クラス(陰性99%)に引きずられて見かけ上高い値になりやすく、常に陰性と予測するだけで99%の精度を達成できてしまいます。陽性クラスの検出能力を反映できないため、この状況での評価指標として不適切です。
BPR AUC
✓ 正解
適合率(Precision)と再現率(Recall)のトレードオフを曲線で表し、その曲線下の面積を指標とします。クラス不均衡があっても少数クラスの検出性能を直接かつ正確に評価できるため、不均衡な二値分類問題において最も信頼性の高い指標です。
C平均二乗誤差
予測値と実測値の差の二乗平均を求める指標で、回帰問題の予測精度評価に使用します。二値分類では0または1のクラスラベルを予測するため、連続値の誤差量を測るMSEを分類性能の評価指標として使用することは適切ではありません。
D決定係数
回帰モデルが目的変数の分散をどの程度説明できるかを示すR²(決定係数)は、回帰分析専用の適合度指標です。予測値が連続値であることを前提としており、二値(0/1)の分類問題に適用することは定義上不適切です。
解説
不均衡なデータセット(正例が1%)では全体的な正解率(Accuracy)が誤解を招く指標になります。常に陰性と予測するだけで99%の精度を達成できますが、陽性を1件も検出できていません。PR AUCは適合率(Precision)と再現率(Recall)のトレードオフを評価し、少数クラスの検出性能を適切に測定できるため、不均衡データの二値分類評価に最適です。
選択肢AのAccuracyは全サンプルに対する正解率であり、多数派クラス(陰性99%)に引きずられた高い値が出やすく、少数クラスの検出性能を正確に反映しません。
選択肢BのPR AUCは適合率と再現率の曲線下面積であり、クラス不均衡があっても陽性クラスの検出性能を直接評価できます。不均衡データの二値分類において最も信頼性の高い評価指標です。
選択肢Cの平均二乗誤差(MSE)は回帰問題における予測値と実測値の差の二乗平均を求める指標であり、二値分類問題の評価指標としては使用しません。
選択肢Dの決定係数(R²)は回帰モデルのフィット度合いを示す指標であり、分類問題の評価には適用できません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →