機械翻訳モデルの性能評価を行っています。生成された翻訳文が、人手で作成された正解訳とどの程度一致しているかを自動的に評価したいと考えています。この目的に最も適した評価指標はどれですか。
正解は「BLEU」です。BLEU(Bilingual Evaluation Understudy)は、機械翻訳の品質を自動評価する代表的な指標であり、生成された翻訳文と1つ以上の参照訳との間で、単語やn-gramの一致度を計算します。一般にスコアが高いほど参照訳に近い翻訳であることを示します。ただし、意味が同じでも異なる表現は低く評価されることがあるため、人間による評価を完全に置き換えるものではありません。 選択肢「F1スコア」は適合率と再現率の調和平均であり、主に分類問題の評価指標です。翻訳品質の評価には適していません。 選択肢「ROC-AUC」は分類器の識別性能を評価する指標であり、機械翻訳の品質評価には使用されません。 選択肢「平均二乗誤差(MSE)」は回帰問題向けの評価指標であり、翻訳文の品質評価には適していません。AWS Certified AI Practitionerでは、BLEU・ROUGE・Precision・Recallなど、タスクごとに適切な評価指標を選択できることが重要です。