AIPテスト、検証、トラブルシューティング
あるリーガルテック企業が、契約書の自動要約機能に採用する基盤モデルを Amazon Bedrock 上の2つの候補（Claude と Llama）から選定しようとしています。社内の法務専門家が作成した500件の「参照要約（正解データ）」が既にあり、各モデルの要約品質を定量的かつ反復可能なスコアで比較したいと考えています。要件は、四半期ごとに再評価を行うため運用負荷とコストを最小化し、専門家の主観に依存しない客観的な指標で比較できることです。この要件を満たす最も適切な方法はどれですか。
AAmazon Bedrock の自動モデル評価ジョブをタスクタイプ「テキスト要約」で作成し、用意した正解データセットを与えて BERTScore による精度メトリクスで両モデルを比較する
✓ 正解
タスクタイプ「テキスト要約」の自動モデル評価は、正解データに対する BERTScore で意味的な一致を客観的かつ定量的に測定でき、マネージドで反復実行も低運用負荷・低コストという全要件を満たします。
BAmazon Bedrock の人間によるモデル評価（自前の作業チーム）を設定し、評価ルーブリックに基づいて法務専門家が各要約を5段階で採点して比較する
人間によるモデル評価は専門家の主観に依存して再現性が低く、500件を四半期ごとに採点するためコストと時間の負荷が大きい点が「客観的・低コスト・反復可能」という要件に反します。
CAmazon SageMaker Processing ジョブでカスタムスクリプトを実装し、各モデル出力と参照要約の ROUGE スコアを独自に計算して比較する
SageMaker Processing で ROUGE を独自計算する方式はスコア自体は得られますが、スクリプトの実装・保守という運用負荷が継続的に発生し、マネージドな自動評価に比べ非効率で要件に合いません。
DAmazon Bedrock の自動モデル評価ジョブを作成し、Toxicity（有害性）メトリクスを用いて両モデルの出力品質を比較する
Toxicity メトリクスは出力に含まれる有害表現の度合いを測る指標であり、参照要約との一致度や要約の正確さを評価できないため、品質比較という目的を達成できません。
解説
Amazon Bedrock の自動モデル評価（Automatic model evaluation）は、要約・質問応答・分類・自由生成といったタスクタイプごとに組み込みメトリクスを提供するマネージドサービスです。
タスクタイプ「テキスト要約」では、参照要約（正解データ）に対する意味的一致を測る BERTScore ベースの精度メトリクスが利用でき、人手を介さず客観的・定量的・反復可能なスコアを算出できます。マネージドなため四半期ごとの再実行も運用負荷が小さく、コストも抑えられます。
選択肢Bの人間によるモデル評価は、主観に依存し再現性が低く、500件×四半期ごとの採点はコストと時間の負荷が大きいため要件に反します。
選択肢Cの SageMaker Processing による独自実装は ROUGE を計算できますが、スクリプトの実装・保守という運用負荷が増え、マネージドな自動評価より非効率です。
選択肢Dの Toxicity メトリクスは出力の有害性を測るものであり、要約の正確さ・品質を測定できないため目的に合致しません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →