AIF基盤モデルのアプリケーション
ある企業が Amazon Bedrock の基盤モデルを使った機械翻訳機能を本番導入する前に、生成された翻訳文が人手による参照訳（リファレンス訳）とどれだけ一致しているかを自動的かつ定量的に評価したいと考えています。この目的に最も適した評価指標はどれですか。
ABLEU スコアを用いて機械翻訳の品質を評価する
✓ 正解
機械翻訳の出力と参照訳の n-gram 一致度を測る代表的指標で、翻訳品質を自動かつ定量的に評価できるため本要件に最適です。要約評価のROUGEと並び、生成テキスト評価で広く使われます。
BF1 スコアを用いて分類モデルの性能を評価する
適合率と再現率の調和平均を取る分類タスク向けの指標であり、翻訳文と参照訳の一致度を測るものではありません。機械翻訳の品質評価という本要件には適しません。
C平均二乗誤差（MSE）を用いて回帰の誤差を評価する
数値予測（回帰）における予測値と実測値の誤差を測る指標であり、テキストの一致度を評価できません。機械翻訳の品質評価という本要件の目的に合致しません。
DInception Score を用いて生成画像の品質を評価する
生成画像の品質や多様性を評価するための指標であり、テキスト翻訳の評価には使用しません。対象が翻訳文である本要件には、テキスト向けのBLEUが適切です。
解説
BLEU（Bilingual Evaluation Understudy）は、機械翻訳の出力と人手による参照訳との n-gram の一致度を測る代表的な自動評価指標です。
参照訳との一致度を 0〜1（または0〜100）で定量化でき、本番導入前の翻訳品質の自動評価に最適です。
選択肢BのF1スコアは、適合率と再現率の調和平均で分類タスクの評価指標であり、翻訳文の一致度評価には用いない。
選択肢Cの平均二乗誤差（MSE）は、数値予測（回帰）の誤差を測る指標で、テキスト翻訳の評価には適さない。
選択肢DのInception Scoreは、生成画像の品質・多様性を評価する指標で、テキスト翻訳の評価には用いない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →