AIPテスト、検証、トラブルシューティング
ある医療情報サービス企業が、Amazon Bedrock Knowledge Bases と Claude を用いた RAG システムを本番運用しています。RAGAS による評価で Context Recall は高く検索段階は良好と確認できましたが、モデルが取得済みドキュメントに記載のない内容を時折補完して出力する（ハルシネーション）問題が残っています。運用チームは、実行時に根拠のない応答を自動的に検出・ブロックする仕組みを、独自のコードを極力書かずに導入したいと考えています。最も適切な方法はどれですか。
AAmazon Bedrock Guardrails の Contextual grounding check を有効化し、grounding と relevance のしきい値を設定して根拠のない応答を検出・ブロックする
✓ 正解
Contextual grounding check は応答が取得済みコンテキストに裏付けられているか（grounding）と質問への関連性（relevance）を実行時にスコアリングし、しきい値未満をブロックできるため、独自コードなしで要件を満たします。
BAmazon Bedrock Guardrails の Denied topics（拒否トピック）を設定し、ハルシネーションが起きやすいトピックを定義してブロックする
Denied topics は定義済みの特定トピックへの言及を禁止する機能であり、応答が文脈に裏付けられているかを判定できないため、文脈外情報の補完というハルシネーションの検出には使えません。
CAmazon Bedrock Guardrails の Sensitive information filter を有効化し、PII をマスキングすることで根拠のない応答を抑止する
Sensitive information filter は PII などの機密情報を検出・マスキングする機能であり、応答の根拠の有無とは無関係で、ハルシネーションの検出・ブロックには寄与しません。
Dシステムプロンプトに「取得した文脈にない情報を生成しないこと」という指示を追記して、ハルシネーションを抑制する
プロンプトへの指示追記はハルシネーションをある程度抑制しますが、実行時に根拠の有無を判定してブロックする保証された仕組みではなく、散発的な発生を確実に防止できません。
解説
Amazon Bedrock Guardrails の Contextual grounding check は、モデルの応答が与えられた参照ソース（取得済みコンテキスト）に裏付けられているか（grounding）と、ユーザーの質問に関連しているか（relevance）を実行時にスコアリングし、しきい値を下回る応答を自動的に検出・ブロックするマネージド機能です。
RAG のハルシネーション（文脈外情報の補完）を独自コードなしで実行時に抑止できるため、要件に最も適しています。
選択肢Bの Denied topics は、あらかじめ定義した特定トピックへの言及をブロックする機能で、文脈に基づく根拠の有無を判定できないためハルシネーション全般を検出できません。
選択肢Cの Sensitive information filter は PII などの機密情報をマスキングする機能で、応答が根拠に裏付けられているかの判定とは無関係です。
選択肢Dのプロンプトへの指示追記は抑制に多少寄与しますが、実行時に根拠の有無を判定して確実にブロックする仕組みではなく、散発的なハルシネーションの保証された防止策にはなりません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →