AIFAIとMLの基礎

ある企業は、迷惑メールフィルタの性能を評価しています。適合率(Precision)と再現率(Recall)の両方を同程度に重視し、どちらか一方だけが高いモデルではなく、バランスの取れたモデルを選択したいと考えています。最も適した評価指標はどれですか。

A
F1スコア
✓ 正解
F1スコアはPrecisionとRecallの調和平均であり、両者をバランスよく評価できます。どちらか一方だけが高いモデルは高得点にならないため、本問の要件に最適です。
B
Accuracy(正解率)
Accuracyは全体の正解率を示す指標です。しかし、迷惑メールが全体の数%しか存在しないような不均衡データでは、高い値でも実際の性能を適切に表さない場合があります。
C
BLEU
BLEUは機械翻訳で生成文と参照訳の一致度を評価する指標です。メールを迷惑・通常へ分類するモデルの性能評価には利用されません。
D
RMSE
RMSEは回帰モデルの予測誤差を評価する指標です。迷惑メール判定は二項分類問題であり、RMSEではなく分類向けの評価指標を使用します。

解説

正解は「F1スコア」です。F1スコアは、Precision(適合率)とRecall(再現率)の調和平均であり、両者のバランスを1つの値で評価できます。どちらか一方だけが高くてもF1スコアは高くならないため、適合率と再現率の双方が重要なタスクで広く利用されています。迷惑メール判定では、通常メールを誤って迷惑メールにすること(偽陽性)と、迷惑メールを見逃すこと(偽陰性)の両方を考慮する必要があります。一方、Accuracyはデータの偏りがある場合に高く見えてしまうことがあり、BLEUは機械翻訳、RMSEは回帰問題の評価指標です。AWS Certified AI Practitionerでは、Precision・Recall・F1の関係を理解していることが重要です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIF の問題一覧に戻る