無限ノック › AIP 練習問題一覧 › 問題
AIPAIの安全性、セキュリティ、ガバナンス

製薬会社がAmazon Bedrock Knowledge BasesとRAG(Retrieval-Augmented Generation:検索拡張生成)アーキテクチャを使用して、社内薬剤安全情報データベースに基づく質問応答システムを構築しています。本番稼働後、モデルが検索された文書に記載されていない副作用情報を生成するハルシネーション(幻覚:モデルが事実に基づかない情報を生成する現象)が発見されました。文書に裏付けられていない応答のみを選択的にブロックする最も効果的なアプローチはどれですか?

A
Amazon Bedrock Guardrailsのコンテンツフィルターで「医療アドバイス」をDenied Topicsに追加し、すべての医療情報の応答をブロックする
Denied Topics は特定トピックを一律ブロックするため正当な薬剤情報まで遮断してしまいます。
B
Amazon Bedrock Guardrailsのコンテキストグラウンディングチェック(Grounding check)を有効化し、ソース閾値(0〜1の範囲)を設定して取得された文書に基づかない応答を検出・ブロックする
✓ 正解
Bedrock Guardrailsのコンテキストグラウンディングチェックは、RAGシステムのモデル出力が取得された文書(ソースコンテキスト)に基づいているかを自動評価する機能。ソース閾値を設定し、文書に裏付けられていない応答をブロックまたは警告として返せます。
C
Bedrockの推論パラメーターでtemperature(温度:モデル出力のランダム性を制御するパラメーター)を0.0に設定し、決定論的な出力にすることでハルシネーションを防ぐ
推論パラメーター でtemperature を0.0に設定しても、コンテキスト外の情報生成は防げません。
D
チャンキング戦略(文書を検索用に分割する方法)をセマンティックチャンキングに変更し、検索精度を向上させることでハルシネーションの発生を根本から抑制する
チャンキング戦略 をセマンティックチャンキングに変更しても根本的な解決策にはなりません。

解説

Amazon Bedrock Guardrailsのコンテキストグラウンディングチェックは、RAGシステムのモデル出力が取得された文書(ソースコンテキスト)に基づいているかを自動評価する機能です。ソース閾値を設定することで、文書に裏付けられていない応答のみを選択的にブロックまたは警告として返せます。 選択肢AのDenied Topicsは特定トピックを一律ブロックするため、正当な薬剤安全情報まで遮断してしまいます。「文書に裏付けられた情報は応答し、裏付けのない情報のみブロックする」という要件を満たせません。 選択肢Bのグラウンディングチェックは取得文書との整合性スコアを評価するため、文書に記載されている正当な薬剤情報の応答はブロックせず、文書外の情報を含むハルシネーションのみを選択的にブロックできます。 選択肢Cのtemperatureを0.0に設定すると出力のランダム性は排除されますが、モデルが学習データ由来の知識に基づいて生成する動作は制御できません。決定論的な出力にしてもコンテキスト外の情報生成は防げず、ハルシネーションは依然として発生します。 選択肢Dのセマンティックチャンキングへの変更は検索精度を向上させる可能性がありますが、適切な文書が検索されたとしてもモデルがその内容を超えた情報を生成する問題は解決できません。応答生成フェーズのハルシネーションを防ぐ手段にはなりません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る