MLAMLモデルの開発複数選択

医療診断システムを構築しているチームが、稀な疾患を検出する二値分類モデルを評価しています。データセットは陽性(疾患あり)が2%、陰性(疾患なし)が98%と高度に不均衡です。このモデルの評価指標として最も適切な組み合わせを2つ選択してください。

A
Accuracy(正解率):全予測中の正解の割合
Accuracy(正解率)は不適切です。
B
AUC-ROC(受信者動作特性曲線下面積):様々な分類閾値での真陽性率と偽陽性率のトレードオフを評価する指標
✓ 正解
高度に不均衡なデータではAccuracyは不適切です(全例を陰性と予測するだけで98%の精度になる)。AUC-ROCは閾値に依存せず分類器の全体的な識別能力を評価し、不均衡データに有効です。
C
F1スコア:Precision(適合率)とRecall(再現率)の調和平均
✓ 正解
F1スコア:Precision(適合率)とRecall(再現率)の調和平均はPrecisionとRecallのバランスを取り、稀な陽性クラスの検出能力を適切に評価します。
D
RMSE(二乗平均平方根誤差):予測値と実際の値の差を評価する指標
RMSE(二乗平均平方根誤差)は回帰問題用のメトリクスであり二値分類には使用しません。

解説

高度に不均衡なデータセットでは、単純な正解率や回帰向けの指標ではなく、クラス不均衡に対応した評価指標を使う必要があります。 選択肢Aの Accuracy(正解率)は不均衡データには不適切です。全例を陰性と予測するだけで98%の正解率になってしまい、稀な陽性クラスの検出能力をまったく反映できません。 選択肢Bの AUC-ROC は、様々な閾値における真陽性率と偽陽性率のトレードオフを評価します。閾値に依存せず分類器の全体的な識別能力を評価できるため、高度に不均衡なデータに対して有効な指標です。 選択肢Cの F1スコア は、Precision(適合率)とRecall(再現率)の調和平均であり、稀な陽性クラスの検出能力を適切に評価します。不均衡データでのバランスの取れた指標として有効です。 選択肢Dの RMSE(二乗平均平方根誤差)は回帰問題用のメトリクスであり、二値分類タスクには使用しません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
MLA の問題一覧に戻る