AIPテスト、検証、トラブルシューティング
あるリーガルテック企業が、Amazon Bedrock（Claude）を使った契約書要約機能を提供しています。要約品質を継続的に評価したいのですが、社内文書は機密で外部ベンチマークが使えず、評価軸は「原文への忠実性」「網羅性」「読みやすさ」という独自の主観基準です。数千件規模を毎週繰り返し、評価コストを抑えつつ再現性のあるスコアを得たいと考えています。大規模な人手レビューチームは確保できません。この要件に最も適した評価手法はどれですか。
AAmazon Bedrock Model Evaluation の自動評価ジョブを使い、組み込みの正確性・堅牢性・有害性メトリクスと公開ベンチマークデータセットでスコアリングする
組み込みの自動評価メトリクスは正確性・堅牢性・有害性など事前定義された指標と公開ベンチマークデータセットを前提とし、忠実性や読みやすさといった独自の主観基準や機密の自社データセットには適合しないため要件を満たせません。
BAmazon Bedrock Model Evaluation の「モデルを審査員として使う（LLM-as-a-judge）」評価ジョブを作成し、独自基準を記述した評価プロンプトと自社の要約データセットでスコアリングする
✓ 正解
独自基準を評価プロンプトとして記述し、自社データセットに対して審査員モデルが自動採点するため、機密データを外部ベンチマークなしで大規模・反復的・低コストかつ再現性高く評価でき、すべての要件に合致します。
CAmazon Bedrock Model Evaluation の人間による評価（ヒューマン評価）ワークフローを構成し、社内レビュアーが各要約を独自基準でスコアリングする
ヒューマン評価は独自の主観基準に対応可能ですが、数千件を毎週レビューするには人手コストとスケールが見合わず、大規模レビューチームを確保できないという制約と再現性の要件に反します。
DAmazon CloudWatch のカスタムメトリクスに要約のトークン数と推論レイテンシーを記録し、ダッシュボードで品質の推移を監視する
CloudWatchのカスタムメトリクスはトークン数や推論レイテンシーといった運用指標の監視にとどまり、要約の忠実性・網羅性・読みやすさという品質そのものを測定できないため評価手法として不適切です。
解説
忠実性・網羅性・読みやすさといった主観的かつ独自の品質基準を、機密データに対して大規模・反復的・低コストで評価するには、Bedrock Model Evaluation の LLM-as-a-judge（審査員モデル）が最適です。評価基準をプロンプトとして定義し、自社データセットで自動採点するため、人手を介さず再現性のあるスコアが得られます。
選択肢Aの自動評価（組み込みメトリクス）は正確性・堅牢性・有害性など定義済み指標と公開ベンチマーク向けで、独自の主観基準や機密データセットには適合しません。
選択肢Cのヒューマン評価は主観基準に対応できますが、数千件を毎週となると人手コストとスケール・再現性の要件に反します。
選択肢DのCloudWatchメトリクスはトークン数やレイテンシーという運用指標を見るだけで、要約の品質そのものを評価できません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →