AIPAIの安全性、セキュリティ、ガバナンス

医療情報提供企業が、Amazon BedrockとKnowledge Basesを組み合わせたRAGシステムを構築しています。モデルが知識ベースに存在しない医療情報を「事実」として回答するハルシネーション(幻覚:AIが実際には存在しない情報を確信を持って生成する現象)を防ぐ必要があります。また、ユーザーの質問と無関係な情報が回答に含まれないようにすることも求められています。最も適切な対策はどれですか?

A
Bedrock GuardrailsのコンテンツフィルターでHARM(有害)カテゴリの閾値をHIGHに設定し、有害コンテンツをブロックする
コンテンツフィルター(有害コンテンツ向け)はハルシネーション防止には不適切です。
B
Bedrock Guardrailsのグラウンディングチェックを有効化し、根拠スコアと関連スコアの閾値を設定してコンテキスト外・無関係な回答を検出・ブロックする
✓ 正解
Bedrock GuardrailsのグラウンディングチェックはRAGシステムのハルシネーション防止に特化した組み込み機能。groundingThresholdは回答が提供コンテキストに根拠を持つかを評価し、relevanceThresholdは回答がクエリに関連しているかを評価する。
C
Bedrock Guardrailsの拒否トピックに「医療診断」と「治療法」を追加し、医療に関するすべての回答生成をブロックする
拒否トピック(医療関連の全回答をブロック)は業務要件を破壊します。
D
Lambda関数でモデルの出力を事後検証し、知識ベースのソースドキュメントとの類似度をBedrock Embeddingsで計算して低スコアの回答を破棄するカスタム処理を実装する
Lambdaカスタム実装は複雑さが増し保守コストが高いです。

解説

Bedrock GuardrailsのグラウンディングチェックはRAGシステムのハルシネーション防止に特化した組み込み機能。groundingThresholdは回答が提供コンテキストに根拠を持つかを評価し、relevanceThresholdは回答がクエリに関連しているかを評価する。 選択肢Aの コンテンツフィルター(有害コンテンツ向け)はハルシネーション防止には不適切です。 選択肢Cの 拒否トピック(医療関連の全回答をブロック)は業務要件を破壊します。 選択肢Dの Lambdaカスタム実装は複雑さが増し保守コストが高いです。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIP の問題一覧に戻る