AIPAIの安全性、セキュリティ、ガバナンス
あるSaaS企業が、Amazon Bedrock の Claude モデルを使った社内向けチャットアシスタントを構築しています。RAG で参照する社内ナレッジに基づいた回答のみを許可し、モデルが参照ソースに含まれない事実を生成して断定的に回答する「ハルシネーション」を本番運用で抑止することが必須要件です。同時に、回答が参照ソースから逸脱した場合は応答をブロックし、しきい値を運用中に調整できる必要があります。最も適切な実装はどれですか。
ABedrock Guardrails の Contextual grounding check を有効化し、grounding と relevance のしきい値を設定して、RAG のソースをガードレールに渡して評価させる
✓ 正解
grounding と relevance のしきい値で応答がソースに基づくかをリアルタイム評価し、逸脱応答をブロックできるため要件に合致します。しきい値は運用中に調整可能で、RAG のハルシネーション抑止に直接対応する唯一の Guardrails 機能です。
BBedrock Guardrails の Denied topics を設定し、ハルシネーションに該当するトピックをトピック定義として列挙してブロックする
Denied topics は禁止したい会話トピックを定義してブロックする機能です。ハルシネーションは「ソース外の事実生成」であり有限のトピックとして列挙できないため、この機能では網羅的に検出・抑止できません。
CBedrock Guardrails の Sensitive information filters で PII をマスキングし、参照ソース外のエンティティを自動的に除去する
Sensitive information filters は PII やカスタム正規表現を検出してマスキング・ブロックする機能で、目的は個人情報保護です。応答が参照ソースに事実として基づくか（grounding）を評価しないため、ハルシネーション抑止には機能しません。
DBedrock Model Evaluation のジョブを定期実行し、ハルシネーション率が基準を超えた場合に CloudWatch アラームで応答を停止する
Model Evaluation は自動・人手評価でモデル品質をオフライン測定する仕組みで、リアルタイムに個々の応答をブロックしません。CloudWatch アラームで応答を即時遮断する設計も成立せず、本番のハルシネーション抑止要件を満たせません。
解説
Contextual grounding check は、モデルの応答が提供された参照ソース（grounding source）に事実として基づいているか（grounding スコア）と、ユーザーの質問に関連しているか（relevance スコア）をリアルタイムに評価し、しきい値を下回る応答をブロックする Guardrails の機能です。RAG のハルシネーション抑止に特化しており、しきい値は運用中に調整可能なため要件に合致します。
選択肢Bの Denied topics は特定トピックの会話を禁止する機能で、ハルシネーションのような「ソース逸脱」は有限のトピックとして列挙できず検出できません。
選択肢Cの Sensitive information filters は PII の検出・マスキングが目的で、事実の根拠性（grounding）は評価しません。
選択肢Dの Model Evaluation はオフラインの品質測定であり、個々の応答をリアルタイムにブロックする仕組みではありません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →