AIPテスト、検証、トラブルシューティング
あるSaaS企業が、Amazon Bedrock Knowledge Bases（Claude 3.5 Sonnet + OpenSearch Serverless）を用いた社内RAG QAシステムを構築しました。本番リリース前に、約500件の「質問・理想回答・参照すべきソースドキュメント」のゴールデンデータセットを用意済みです。評価チームは「検索が正しい文書を取得できているか」と「生成回答が取得文脈に忠実か（文脈にない事実を作っていないか）」を分離して定量評価し、リトリーバル層と生成層のどちらに問題があるかを切り分けたいと考えています。最小の実装工数でこの切り分けを実現する評価手法はどれですか。
ARAGASのContext Recall/Context Precision（リトリーバル指標）とFaithfulness/Answer Relevancy（生成指標）を算出し、層ごとの指標を分けて評価する
✓ 正解
Context Recall/Precisionが検索層、Faithfulness/Answer Relevancyが生成層を測る設計で、ゴールデンデータセットと組み合わせれば層別に問題箇所を定量的に切り分けられ、要件を最小工数で満たす。
BBedrock Model Evaluationの自動評価ジョブでToxicityとAccuracyのビルトイン指標を実行し、総合スコアの低い質問を目視で原因分類する
ToxicityやAccuracyのビルトイン指標は回答全体を一括評価するもので、リトリーバルと生成を分離した指標を持たないため、どの層が原因かの定量的な切り分けができない。
CCloudWatchでretrieve APIとinvoke APIのレイテンシーとトークン使用量を収集し、メトリクスの相関から問題層を推定する
retrieve/invokeのレイテンシーやトークン量は性能・コストの観測値であり、検索文書の妥当性や生成の忠実度を測れないため、品質問題の層別切り分けには使えない。
Dヒューマン評価ワークフローを構築し、レビュアーが各回答に1〜5点を付与した平均スコアで全体品質を判定する
1〜5点の平均スコアは全体的な主観品質しか表さず、検索層と生成層を分離した定量指標が得られないうえ、500件の人手評価は工数も大きい。
解説
RAGASはRAGパイプラインを層別に評価するためのフレームワークで、リトリーバル品質と生成品質を別々の指標で測定できる点が要件に合致する。
Context Recall/Context Precisionは取得した文脈が理想ソースをどれだけ正しく含むか（検索層）を、Faithfulness（文脈への忠実度）/Answer Relevancyは生成回答が文脈に基づくか・質問に関連するか（生成層）を定量化する。これによりリトリーバルと生成のどちらが問題かを切り分けられる。
選択肢Bのビルトイン指標（Toxicity/Accuracy）は層別の分離評価ができず、検索と生成のどちらが原因かを定量的に切り分けられない。
選択肢CのCloudWatchメトリクスはレイテンシーとコストの監視であり、回答の正確性や文脈忠実度を測る指標ではない。
選択肢Dの単一スコア人手評価は全体品質しか出せず、層別の原因切り分けができないうえ工数も大きい。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →