無限ノック › AIP 練習問題一覧 › 問題AIP 実装と統合
あるコールセンター企業がAmazon Bedrockでファインチューニングしたモデルを使用して顧客対話の要約を生成するシステムを構築しています。生成された要約は参照要約と同じ内容・意味を持っていれば、異なる語句・言い回しで表現されていても高評価となるべきです。Amazon Bedrock Model Evaluationを使用した大規模自動評価に最も適した評価指標はどれですか？
A ROUGE-L（Recall-Oriented Understudy for Gisting Evaluation）：生成テキストと参照テキストの最長共通部分列（LCS: Longest Common Subsequence）に基づくスコア
ROUGE-Lは最長共通部分列ベースのスコアですが、表面的な単語・フレーズ一致に依存し、パラフレーズを適切に評価できません。
B BLEU（Bilingual Evaluation Understudy）：生成テキストと参照テキスト間のn-gram（連続するn個の単語の組み合わせ）一致精度に基づくスコア
BLEUはn-gram一致精度ベースのスコアですが、同様に表面的一致に依存し、表現が異なれば低スコアになります。
C BERTScore：大規模言語モデルの文脈的トークン埋め込みを使用して生成テキストと参照テキストの意味的類似度を計算するスコア
✓ 正解
BERTScoreは文脈的トークン埋め込みで意味的類似度を計算するため、パラフレーズでも内容が同じなら高評価でき、『異なる言い回しでも意味が同じなら高評価』という要件を満たします。
D 完全一致（Exact Match）スコア：生成要約が参照要約と文字列として完全に一致するかを評価するスコア
完全一致スコアは生成要約と参照要約の文字列完全一致のみ高評価であり、自然言語の多様な表現を許容しない極めて厳格です。
解説 正解：
C. BERTScore：大規模言語モデルの文脈的トークン埋め込みを使用して生成テキストと参照テキストの意味的類似度を計算するスコア。
「異なる言い回しでも意味が同じなら高評価」という要件にはBERTScoreが最適です。BERTScoreは文脈的埋め込みを用いて意味的類似度を測定するため、パラフレーズ（言い換え表現）を適切に評価でき、Amazon Bedrock Model Evaluationでも自動評価指標として利用可能です。
選択肢AのROUGE-Lは最長共通部分列（LCS）に基づく表面的な単語一致を評価するため、異なる言い回しでも意味が同じ場合に低スコアとなります。
選択肢BのBLEUはn-gram一致精度に基づくスコアで、語句の表面的一致を評価するため、言い換え表現に対して低スコアになりやすいです。
選択肢DのExact Match（完全一致）は生成要約が参照要約と文字列として完全一致するかを評価するため、自然言語の要約評価には不適切です。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →