ある医療情報サービス企業が、Amazon Bedrock Knowledge BasesとOpenSearch Serverlessを使ったRAGシステムを運用しています。ドキュメントのインデックス化は正常に完了していますが、医師ユーザーから「関連する診療ガイドラインが回答に含まれないことが多い」という報告が相次いでいます。エンジニアチームがRAGの検索精度を体系的に診断するための最も適切なアプローチはどれですか？
RAGパイプラインのトラブルシューティングでは、検索（Retrieval）と生成（Generation）のコンポーネントを分離して評価することが重要です。 選択肢BはKnowledge BasesのRetrieve APIを使い、モデル呼び出しコストなしに純粋な検索品質だけをテストする正解のアプローチです。ゴールデンデータセット（クエリに対して期待されるチャンクを定義したデータセット）と照合してRecall@KやNDCGを算出することで、「何が検索されているか」を客観的かつ定量的に把握できます。測定結果に基づいてチャンクサイズ・オーバーラップ・NumberOfResultsを調整することが根拠のある改善につながります。 選択肢AのBedrock Model Invocation Loggingはエンドツーエンドの入出力を記録するオブザーバビリティツールで、全体像の把握には有用ですが、検索コンポーネントの精度をRecall@K・NDCGなどの指標で独立して定量評価する手段としては不十分です。 選択肢Cのベクターストア移行は大規模インフラ変更であり、根本原因がチャンキング戦略やクエリ設計にある可能性を診断せずに実施するのは誤ったアプローチです。 選択肢DのNumberOfResults増加は評価なしの試行錯誤であり、ノイズ増加・コスト上昇・コンテキスト窓の圧迫を招く可能性があります。