MLAMLモデルの開発
ECサイトの不正取引検知チームが二値分類モデルを開発しています。不正取引は全体の0.05%（不正:正常 ≈ 1:2000）で極端なクラス不均衡があります。モデルAはAUC-ROC=0.97、モデルBはAUC-ROC=0.93と報告されていますが、実務上は不正の見逃し（偽陰性）と誤検知（偽陽性）のトレードオフの把握が重要です。最終モデルを選定する際に最も適切な評価指標はどれですか。
AAUC-ROC：FPRとTPRのトレードオフを可視化し不均衡データでもクラス比率に関わらず汎用的なモデル識別能力を評価できる指標
AUC-ROCはFPRとTPRのトレードオフを評価する広く使われる指標だが、FPRの分母が「全陰性サンプル数（正常取引2000件）」と非常に大きいため偽陽性が多少増えてもFPRはほぼゼロのままとなる。1:2000という極端な不均衡では少数クラスの性能を過大評価するリスクが高い。
BAUC-PR（PR曲線下面積）：適合率と再現率のトレードオフで少数クラスの予測性能を評価し不均衡データで信頼性が高い指標
✓ 正解
AUC-PR（PR曲線下面積）は適合率と再現率のトレードオフを評価し、少数クラスを正確に検出できなければ大幅に低下する指標。不正:正常 = 1:2000 の不均衡データではAUC-ROCより遥かに厳しい評価が得られ、モデルの真の不正検知性能を正確に反映できる。
C正解率（Accuracy）：全サンプルに対する正解の比率を示しクラス分布に関わらず直感的に理解しやすい汎用的な指標
正解率（Accuracy）は極端なクラス不均衡では意味をなさない。不正取引が全体の0.05%の場合、全サンプルを正常と予測するだけで99.95%の正解率を達成でき、不正取引を一件も検出しない無意味なモデルが最高評価を得てしまう根本的な欠陥がある。
DLog Loss：予測確率のキャリブレーション精度を反映し連続値でモデルを比較できるため不均衡データでも絶対的な評価が可能
Log Lossは予測確率のキャリブレーション精度を評価する指標として有用だが、偽陰性と偽陽性の閾値ごとのトレードオフを視覚的に把握しモデル選定に活用するという目的には、PR曲線のように閾値変化による系統的な比較ができない。
解説
不均衡データにおける二値分類の評価では、AUC-PR（PR曲線下面積）がAUC-ROCより信頼できる指標となります。
ROC曲線のFPR（偽陽性率）の分母は「全陰性サンプル数（正常取引2000件）」であるため、偽陽性が多少増えてもFPRはほぼゼロのままとなりROC曲線が楽観的になりやすい問題があります。一方、PR曲線の適合率（Precision）の分母は「予測陽性数」であるため、少数クラス（不正取引）の誤検知が増えると即座に低下し真の不正検知性能を正確に反映します。
選択肢AのAUC-ROCは1:2000の極端な不均衡ではFPRが常に低く見え楽観的評価になりやすく、少数クラスの予測困難さを過小評価するリスクがある。
選択肢Cの正解率（Accuracy）は全て正常と予測するだけで99.95%の高精度が得られ不正取引を一件も検出しないモデルが高評価になる欠陥がある。
選択肢DのLog Lossは確率キャリブレーションの評価に有用だが閾値変化によるFPとFNのトレードオフを視覚的に比較する手段としては適さない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →