AIFAIとMLの基礎

機械翻訳モデルの性能評価を行っています。生成された翻訳文が、人手で作成された正解訳とどの程度一致しているかを自動的に評価したいと考えています。この目的に最も適した評価指標はどれですか。

A
BLEU
✓ 正解
BLEUは機械翻訳で最も広く利用される自動評価指標の一つです。生成文と参照訳のn-gram一致率を基に算出され、翻訳の品質を定量的に測定します。
B
F1スコア
F1スコアは適合率と再現率の調和平均であり、主に二項分類や多クラス分類の性能評価に利用されます。翻訳文の品質を評価する用途には適していません。
C
ROC-AUC
ROC-AUCは分類器が正例と負例をどれだけ適切に識別できるかを評価する指標です。機械翻訳では分類を行わないため、この用途では使用しません。
D
平均二乗誤差(MSE)
平均二乗誤差(MSE)は回帰問題で予測値と実測値の誤差を評価する指標です。翻訳文の品質や文章同士の一致度を測定するための指標ではありません。

解説

正解は「BLEU」です。BLEU(Bilingual Evaluation Understudy)は、機械翻訳の品質を自動評価する代表的な指標であり、生成された翻訳文と1つ以上の参照訳との間で、単語やn-gramの一致度を計算します。一般にスコアが高いほど参照訳に近い翻訳であることを示します。ただし、意味が同じでも異なる表現は低く評価されることがあるため、人間による評価を完全に置き換えるものではありません。 選択肢「F1スコア」は適合率と再現率の調和平均であり、主に分類問題の評価指標です。翻訳品質の評価には適していません。 選択肢「ROC-AUC」は分類器の識別性能を評価する指標であり、機械翻訳の品質評価には使用されません。 選択肢「平均二乗誤差(MSE)」は回帰問題向けの評価指標であり、翻訳文の品質評価には適していません。AWS Certified AI Practitionerでは、BLEU・ROUGE・Precision・Recallなど、タスクごとに適切な評価指標を選択できることが重要です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIF の問題一覧に戻る