AIPテスト、検証、トラブルシューティング
あるリーガルテック企業が、Amazon Bedrock Knowledge Bases（OpenSearch Serverless）を使った判例検索RAGを本番運用しています。ユーザーから「回答が判例の事実関係を正しく要約しているが、引用している判例番号が実際の取得チャンクに存在しない番号にすり替わることがある」という報告が散発的に上がっています。取得されたチャンク自体は質問に関連しており、ベクター検索の再現率は十分です。この「取得は正しいが生成段階で出典が捏造される」問題を定量的に切り分けて測定したい場合、Bedrock の評価機能として最も適切なものはどれですか。
AKnowledge Bases の RAG 評価ジョブで Context Relevance（コンテキスト関連性）メトリクスを実行し、取得チャンクのスコアを継続監視する
取得チャンクの質問関連性を測る指標で、ベクター検索の再現率が十分と判明している本件では切り分け対象が異なる。問題は生成段階にあり、取得品質メトリクスでは出典捏造を可視化できない。
BKnowledge Bases の RAG 評価ジョブで Faithfulness（忠実性）メトリクスを実行し、生成回答が取得コンテキストに根拠づけられているかをスコア化する
✓ 正解
生成回答が取得コンテキストに根拠づけられているかを測る忠実性メトリクスは、取得チャンクに存在しない判例番号の捏造というグラウンディング不全を直接スコア化でき、生成段階の問題切り分けに最適。
CModel Evaluation の自動評価ジョブで Accuracy（正確性）メトリクスを使い、モデル出力を正解データセットと文字列一致で比較する
Model Evaluation の Accuracy はモデル単体出力を正解データと比較する汎用評価で、RAG の取得コンテキストを参照しないため、取得は正しく生成で捏造される本件の切り分けには使えない。
DModel Evaluation の自動評価ジョブで Robustness（堅牢性）メトリクスを使い、入力の摂動に対する出力の安定性を測定する
Robustness は入力の言い換えや摂動に対する出力安定性を測る指標であり、出典が捏造されるグラウンディング問題とは測定軸が異なるため切り分けに寄与しない。
解説
報告された問題は「取得は適切だが、生成された回答が取得コンテキストに含まれない情報（捏造された判例番号）を含む」というハルシネーションです。これは生成内容がソース文脈にどれだけ忠実かを測る Faithfulness（忠実性／グラウンディング）メトリクスで定量化するのが適切です。
Bedrock Knowledge Bases の RAG 評価は、取得品質（Context Relevance/Coverage）と生成品質（Faithfulness、Correctness 等）を分離して測定できるため、原因切り分けに直結します。
選択肢Aの Context Relevance は取得チャンクが質問に関連しているかを測るが、本件は取得は正しいため切り分け対象がずれる。
選択肢Cの Model Evaluation Accuracy は正解データとの一致を測る一般的なテキスト生成評価で、取得コンテキストへの忠実性は測れない。
選択肢Dの Robustness は入力摂動への安定性であり、出典捏造の測定とは無関係。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →