医療診断システムを構築しているチームが、稀な疾患を検出する二値分類モデルを評価しています。データセットは陽性(疾患あり)が2%、陰性(疾患なし)が98%と高度に不均衡です。このモデルの評価指標として最も適切な組み合わせを2つ選択してください。
高度に不均衡なデータセットでは、単純な正解率や回帰向けの指標ではなく、クラス不均衡に対応した評価指標を使う必要があります。 選択肢Aの Accuracy(正解率)は不均衡データには不適切です。全例を陰性と予測するだけで98%の正解率になってしまい、稀な陽性クラスの検出能力をまったく反映できません。 選択肢Bの AUC-ROC は、様々な閾値における真陽性率と偽陽性率のトレードオフを評価します。閾値に依存せず分類器の全体的な識別能力を評価できるため、高度に不均衡なデータに対して有効な指標です。 選択肢Cの F1スコア は、Precision(適合率)とRecall(再現率)の調和平均であり、稀な陽性クラスの検出能力を適切に評価します。不均衡データでのバランスの取れた指標として有効です。 選択肢Dの RMSE(二乗平均平方根誤差)は回帰問題用のメトリクスであり、二値分類タスクには使用しません。