AIPテスト、検証、トラブルシューティング
あるカスタマーサポートSaaSが、Amazon Bedrock（Claude）で生成する応答の品質を継続的に検証するため、Model Evaluation を導入します。応答は「定型FAQ回答」と「共感を要する苦情対応」の2系統があり、後者はトーン・適切さなど主観的で、正解文字列との一致では評価できません。一方で評価コストとリードタイムは抑えたく、毎リリースで数千件を回す必要があります。両系統を最も適切に評価する構成はどれですか。
A両系統とも Model Evaluation の人間（ヒューマン）評価ジョブを使い、社内ワークフォースが全件をスコア付けする
全件ヒューマン評価は主観品質を正確に測れる一方、毎リリース数千件をコスト・リードタイムを抑えて回す要件に反するため不適。スケールとコストの制約を満たせない。
B両系統とも Model Evaluation の自動評価で BERTScore による正解参照比較を行い、閾値で合否判定する
BERTScore は参照文との意味的類似を測る参照ベース指標で、共感トーンなど正解文字列が定まらない苦情対応には適用できず、主観品質を正しく評価できない。
C定型FAQは自動評価（参照ベースのメトリクス）、苦情対応は LLM-as-a-judge（モデルベース評価）を用いるハイブリッド構成にする
✓ 正解
参照が定まる定型FAQは安価な自動評価、正解が定まらない苦情対応は審判モデルが基準採点する LLM-as-a-judge を使い分けることで、コスト・速度・主観品質評価を同時に満たす最適構成。
D両系統とも Guardrails のコンテンツフィルタを評価指標として流用し、ブロック率を品質スコアとみなす
Guardrails はポリシー違反のブロックが目的でブロック率は品質スコアではない。トーンや適切さの良し悪しを測れず、品質評価指標として流用するのは誤り。
解説
定型FAQは正解が定まるため参照ベースの自動評価で安価・高速に判定できます。一方、苦情対応のトーンや適切さは正解文字列で測れない主観的品質のため、評価モデルが基準に沿って採点する LLM-as-a-judge（モデルベース評価）が適切です。これにより人手より低コスト・短リードタイムで主観品質を数千件規模で回せます。
Bedrock Model Evaluation はモデルベースの自動評価（審判モデルによる採点）をサポートしており、系統ごとに手法を使い分けるのが最適です。
選択肢Aの全件ヒューマン評価はコストとリードタイムの要件に反する。
選択肢Bの BERTScore は参照文必須で、主観的な苦情対応を正しく測れない。
選択肢Dの Guardrails はポリシー違反検出が目的で品質スコアではなく、トーンの良し悪しを測れない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →