無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

エンタープライズ企業がAmazon Bedrock Knowledge Bases を使用した社内ITサポート向けRAG(Retrieval-Augmented Generation:検索拡張生成)システムを構築しました。本番リリース前に検索品質と生成品質の両方を包括的に評価したいと考えています。RAGシステムの総合評価として最も適切なアプローチはどれですか?

A
最終回答のBLEU(Bilingual Evaluation Understudy:機械翻訳の自動評価指標)スコアとROUGE-1(文の重複率を測る指標)のみを計算し、参照テキストとの文字列一致度でRAGシステムの回答品質全体を評価する
BLEUやROUGEは参照テキストとの文字列一致度を測る指標で、表現が異なれば低スコアになるため多様な正解表現を持つRAGシステムの評価には適していません。検索フェーズの品質も評価できないため総合的な品質判断に使えません。
B
Amazon CloudWatch でAPIレイテンシ・エラーレート・スループットなどのシステムメトリクスのみを継続的に監視し、インフラの安定稼働状態をRAGの回答品質と正確性の代理指標として評価する
CloudWatchのインフラメトリクスはシステムの安定性・可用性を測定するものであり、RAGの検索精度や生成品質(ハルシネーション率)を直接評価できません。サービスが安定稼働していても回答の質が低い場合があります。
C
コンテキスト精度(Context Precision)・コンテキスト再現率(Context Recall)で検索品質を、忠実性(Faithfulness)・回答関連性(Answer Relevancy)で生成品質を評価し、Bedrock Model Evaluationと組み合わせて包括的に測定する
✓ 正解
RAGシステムはRetriever(検索)とGenerator(生成)の両フェーズを独立して評価することが重要です。Context PrecisionとContext Recallで検索品質を、FaithfulnessとAnswer Relevancyで生成品質を評価するRAGAS等のフレームワークが標準的に使用されます。
D
本番リリース後に実際のエンドユーザーからのサムズアップ/ダウンフィードバックのみを継続収集し、統計的に十分なデータが蓄積した時点でRAGシステムの回答品質を事後評価する
ユーザーフィードバックは本番運用後に蓄積されるため、本番リリース前の事前品質評価には使用できません。単純なサムズアップ/ダウンではRAGの検索・生成各フェーズの具体的な問題点を特定することが困難です。

解説

RAGシステムは検索フェーズと生成フェーズを分けて評価することが重要です。Context Precision(取得コンテキストの正確さ)とContext Recall(必要コンテキストの網羅性)で検索品質を、Faithfulness(ハルシネーション検出)とAnswer Relevancy(質問との関連性)で生成品質を測定します。これらはRAGAS等のRAG評価フレームワークで標準的に使用されるメトリクスです。 選択肢AのBLEUやROUGEは参照テキストとの文字列一致度を測る指標であり、同じ意味でも表現が異なれば低スコアになるため多様な正解表現を持つRAGの評価には適しません。また検索フェーズの品質も評価できません。 選択肢BのCloudWatchメトリクスはインフラの安定性・可用性を測定するものであり、RAGの検索精度や生成品質(ハルシネーション率)を直接評価できません。システムが安定稼働していても回答の質が低い場合があります。 選択肢Dのユーザーフィードバックは本番運用後に蓄積されるため、本番リリース前の事前品質評価には使用できません。単純なサムズアップ/ダウンでは検索・生成各フェーズの具体的な問題点を特定することが困難です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る