ECサイトでは、購入する可能性が高い顧客だけにクーポンを配信したいと考えています。クーポンを受け取った顧客が実際に購入する割合をできるだけ高くしたいため、誤って購入しない顧客へクーポンを送ることを減らしたい場合、最も重視すべき評価指標はどれですか。
Precision(適合率)は、モデルが『購入する』と予測した顧客のうち実際に購入した顧客の割合を表します。クーポン配信コストを抑え、購入しない顧客への無駄な配信(偽陽性)を減らしたい本問では、Precisionを高めることが最も適しています。 Recall(再現率)は実際に購入する顧客をどれだけ漏れなく検出できたかを示す指標であり、見逃し(偽陰性)を減らしたい場合に重視されます。本問の「誤配信を減らす」という目的には直接対応しません。 BLEUは機械翻訳の品質評価に利用される指標であり、購入予測のような分類問題の性能評価には使用されません。 ROC-AUCは分類器全体の識別能力を比較する際に有用な指標ですが、偽陽性を減らすことが目的の場合はPrecisionが直接的な評価指標となります。