AIPテスト、検証、トラブルシューティング
ある SaaS 企業が Amazon Bedrock Knowledge Bases による技術ドキュメント検索AIを運用していますが、回答品質が低いという報告が増えています。原因が「検索（リトリーバル）が適切な文脈を取れていない」のか「文脈は適切だが生成が不正確」のかを切り分け、改善の優先順位を決めたいと考えています。RAG評価のメトリクスを使って原因を切り分けたい場合、まず確認すべきメトリクスの組み合わせとして最も適切なものはどれですか。
A回答の流暢性（fluency）と応答レイテンシーを測定し、両者が悪化している箇所を改善対象とする
流暢性は文章の自然さ、レイテンシーは応答速度の指標であり、いずれも検索が悪いのか生成が悪いのかという根本原因の切り分けには寄与しないため、診断の起点メトリクスとして不適切です。
Bコンテキスト再現率（context recall）とコンテキスト適合率（context precision）を測定し、低ければ検索（リトリーバル）側の問題と判断する
✓ 正解
コンテキスト再現率は正解情報が取得文脈に含まれているか、適合率は取得文脈の関連度を測る検索段階のメトリクスであり、これらが低ければリトリーバルが原因、良好なら生成側へと切り分けられるため、原因特定の起点として最適です。
C有害性（toxicity）スコアとプロンプトインジェクション検出率を測定し、低品質の原因をセキュリティ層に切り分ける
有害性スコアやプロンプトインジェクション検出はセキュリティ・安全性の指標であり、RAGの検索精度や生成精度の品質問題を切り分ける目的とは無関係なため、原因特定には使えません。
D入力トークン数と出力トークン数の比率を測定し、比率が偏っている箇所を生成側の問題と判断する
入力・出力トークン数の比率はコストや計算量に関わる運用指標にすぎず、文脈取得の適切さや生成の正確さを測れないため、検索と生成のどちらが問題かを切り分けることはできません。
解説
RAGの品質問題を「検索」と「生成」に切り分けるには、検索段階を評価するメトリクスを見ます。コンテキスト再現率（必要な正解情報が取得文脈に含まれているか）とコンテキスト適合率（取得文脈のうち関連部分の割合）が低ければ、リトリーバルが原因と判断できます。これらが良好なのに回答が悪い場合は、忠実性・回答関連性など生成側のメトリクスへ切り分けます。
選択肢Aの流暢性とレイテンシーは品質の根本原因（検索/生成）の切り分けに使えません。
選択肢Cの有害性・インジェクション検出はセキュリティ指標で、検索品質の診断には無関係です。
選択肢Dのトークン数比率は計算量の指標であり、検索/生成の精度問題を切り分けられません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →