AIF基盤モデルのアプリケーション
あるチームが、Amazon Bedrock の基盤モデルで生成した文書要約の品質を自動評価したいと考えています。要件として、要約が参照要約と語句が完全一致しなくても、言い換えや同義語で同じ意味を伝えていれば高く評価したい、というものがあります。大量の要約を人手を介さず継続的にスコアリングできる手法として、最も適切なものはどれですか。
ABLEU スコアで、生成要約と参照要約の n-gram 適合率を測定して評価する
BLEU は機械翻訳向けに設計された n-gram 適合率ベースの指標で、参照との表層的な語句一致を測ります。言い換えや同義語で同じ意味を伝えても語句が異なれば低評価となり、意味の一致を重視する要件を満たせません。
BROUGE スコアで、生成要約と参照要約の間の n-gram の再現率を測定して評価する
ROUGE は要約評価で広く使われますが、n-gram の再現率（語句の重なり）を測る指標です。表層の単語一致に依存するため、同義語や言い換えで意味が同じでも低く評価され、意味的な近さを捉える要件に合いません。
CBERTScore で、埋め込みベースのトークン類似度により意味的な近さを測定して評価する
✓ 正解
各トークンを文脈考慮の埋め込みに変換し類似度で比較するため、語句が一致しなくても意味が近ければ高評価できます。自動計算で大量処理が可能であり、意味的一致を人手なしで評価したい要件に最も適合します。
D人間の評価者が各生成要約を 5 段階で採点し、品質を判定して評価する
人間評価は意味的な品質を高精度に判定できますが、大量の要約を継続的かつ自動でスコアリングする要件を満たせません。コストと時間がかかりスケールしないため、本シナリオの自動評価には不向きです。
解説
BERTScore は、生成テキストと参照テキストの各トークンを文脈考慮の埋め込み（ベクトル）に変換し、その類似度で評価する指標です。
表層の語句が一致しなくても、言い換えや同義語で意味が近ければ高いスコアを与えられるため、「語句一致でなく意味の一致を評価したい」という要件に合致します。自動計算のため大量処理にも向きます。
選択肢1の BLEU は、主に機械翻訳で使われる n-gram 適合率ベースの指標で、表層の語句一致を見るため言い換えを正しく評価できません。
選択肢2の ROUGE は、要約評価の定番ですが n-gram の再現率（語句の重なり）を測るため、同義語・言い換えは低く評価されてしまいます。
選択肢4の人間評価は精度は高いものの、大量の要約を継続的・自動的にスコアリングする要件を満たせません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →