無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

あるEC事業者がAmazon Bedrockを用いた製品サポートチャットボットを本番運用している。Amazon Bedrock Knowledge Bases(ベクターストア:OpenSearch Serverless)でS3上の製品マニュアルを取り込み、Claude 3 Sonnetで回答生成するRAGアーキテクチャを採用している。数週間後、Amazon Bedrock Model Evaluationで評価したところ、以下の結果が得られた: ・Context Recall: 0.91 ・Context Precision: 0.88 ・Faithfulness: 0.57 検索精度(Context RecallとContext Precision)は高水準だが、Faithfulnessが著しく低く、回答が取得コンテキストと矛盾する事例が多発していた。このメトリクスパターンが示す根本原因と最も効果的な対策はどれか。

A
チャンキング戦略が粗すぎて関連性の低いコンテンツが混入している。Knowledge Basesのチャンクサイズを1,000トークンから300トークンに縮小し、ナレッジベースを再同期して検索品質を改善する。
Context RecallとContext Precisionが共に高い状態でのFaithfulness低下は検索品質の問題ではなく生成フェーズのハルシネーションを示す。チャンクサイズ削減はContext PrecisionやRecallが低い場合に有効な施策であり、検索精度が高水準の本ケースには根本原因への対処にならない。
B
基盤モデルが取得コンテキストを無視して学習データから回答を生成している。システムプロンプトに根拠付け指示を追加し、Bedrock GuardrailsのContextual Grounding Checkを有効化して非根拠回答を自動遮断する。
✓ 正解
Context metricsが高くFaithfulnessのみ低い場合、検索は正常に機能しており生成フェーズが原因である。システムプロンプトで根拠付け制約を明示した上でBedrock Guardrails Contextual Grounding Checkを有効化すると、ソース文書に裏付けのない回答を自動遮断でき、本メトリクスパターンに直接対処できる最適な解である。
C
OpenSearch Serverlessの意味検索精度が不十分で関連チャンクを取りこぼしている。ベクターストアをAurora PostgreSQL pgvectorへ移行してコサイン類似度検索の精度を向上させる。
OpenSearch ServerlessからAurora PostgreSQL pgvectorへの移行はベクター検索インフラの変更であり、Context Recallが低く関連ドキュメントの取りこぼしが発生している場合に検討する対策である。Context Recall 0.91と高水準を示す本シナリオでは検索インフラは適切に機能しており根本原因に対応しない。
D
埋め込みモデルがクエリと製品マニュアルの意味的整合に不適合である。Amazon Titan Embeddings V2からCohere Embed Multilingual v3に変更し、ナレッジベースを再インデックスする。
埋め込みモデルの変更はクエリとドキュメントの意味的整合性を改善しContext Recallの向上に寄与する施策である。Context Recall 0.91と高水準を維持している本ケースでは埋め込みモデルは適切に機能しており、Faithfulness低下の直接原因ではない。

解説

FaithfulnessはRAGASの評価指標の一つで「モデルの回答が取得コンテキストにどれだけ忠実か」を測定する。Context RecallとContext Precisionが共に高水準にもかかわらずFaithfulnessのみ低い場合、検索パイプラインは正常に機能しており問題は生成フェーズにある。基盤モデルが取得コンテキストを無視して事前学習知識から回答を補完・創作するハルシネーションが発生している状態である。 最も効果的な対策は2段階のアプローチである。 ①システムプロンプトで「提供されたコンテキストのみに基づいて回答し、コンテキストにない情報は含めないこと」と明示する。 ②Bedrock GuardrailsのContextual Grounding Checkを有効化する。このポリシーはモデルの回答を取得ソース文書と比較し、根拠スコアが閾値を下回る回答を自動的にブロックするRAG特化のセーフガードである。 選択肢Aのチャンキング戦略の見直しはContext PrecisionやContext Recallが低い場合に有効な対策であり、両指標が高い本ケースには適合しない。 選択肢CのOpenSearch ServerlessからAurora PostgreSQL pgvectorへの移行は検索インフラ変更であり、Context metricsが高水準を示す本シナリオでは根本原因に対応しない。 選択肢Dの埋め込みモデルの変更はContext Recallが低い場合(関連チャンクを取りこぼす場合)に有効であり、Recall 0.91の本ケースには不適切である。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る