製薬会社がAmazon Bedrock Knowledge BasesとRAG(Retrieval-Augmented Generation:検索拡張生成)アーキテクチャを使用して、社内薬剤安全情報データベースに基づく質問応答システムを構築しています。本番稼働後、モデルが検索された文書に記載されていない副作用情報を生成するハルシネーション(幻覚:モデルが事実に基づかない情報を生成する現象)が発見されました。文書に裏付けられていない応答のみを選択的にブロックする最も効果的なアプローチはどれですか?
Amazon Bedrock Guardrailsのコンテキストグラウンディングチェックは、RAGシステムのモデル出力が取得された文書(ソースコンテキスト)に基づいているかを自動評価する機能です。ソース閾値を設定することで、文書に裏付けられていない応答のみを選択的にブロックまたは警告として返せます。 選択肢AのDenied Topicsは特定トピックを一律ブロックするため、正当な薬剤安全情報まで遮断してしまいます。「文書に裏付けられた情報は応答し、裏付けのない情報のみブロックする」という要件を満たせません。 選択肢Bのグラウンディングチェックは取得文書との整合性スコアを評価するため、文書に記載されている正当な薬剤情報の応答はブロックせず、文書外の情報を含むハルシネーションのみを選択的にブロックできます。 選択肢Cのtemperatureを0.0に設定すると出力のランダム性は排除されますが、モデルが学習データ由来の知識に基づいて生成する動作は制御できません。決定論的な出力にしてもコンテキスト外の情報生成は防げず、ハルシネーションは依然として発生します。 選択肢Dのセマンティックチャンキングへの変更は検索精度を向上させる可能性がありますが、適切な文書が検索されたとしてもモデルがその内容を超えた情報を生成する問題は解決できません。応答生成フェーズのハルシネーションを防ぐ手段にはなりません。