AIF責任あるAIのガイドライン
ある企業が Amazon Bedrock と Knowledge Bases を用いた社内文書検索チャットボット(RAG構成)を構築しました。責任あるAIの観点から、モデルが取得した参照文書に根拠がない内容(ハルシネーション)を回答した場合に、その応答をブロックまたは警告したいと考えています。Guardrails for Amazon Bedrock の機能のうち最も適切なものはどれですか。
Aコンテキストグラウンディングチェックを有効化し、参照ソースに基づかない応答をブロックする
✓ 正解
コンテキストグラウンディングチェックは応答が参照ソースに根拠づけられている度合いと質問への関連性をスコア化し、閾値未満をブロックできるため、RAGでのハルシネーション抑制という要件に直接対応する。
B拒否トピック(Denied topics)を定義し、特定の話題に関する応答を拒否する
拒否トピックは特定の話題への応答自体を禁止する機能であり、応答内容が参照文書に根拠づけられているかどうかは判定しないため、ハルシネーション対策の要件には合わない。
C単語フィルター(Word filters)を設定し、指定した単語を含む応答をブロックする
単語フィルターは事前指定した単語・フレーズの含有を検出してブロックするだけで、応答の事実性や参照ソースとの整合性は評価できないため要件を満たさない。
D機密情報フィルター(Sensitive information filters)を有効化し、応答内のPIIをマスキングする
機密情報フィルターは応答や入力に含まれるPII等の機密情報を検出・マスキングする機能であり、参照文書に根拠がない誤情報の生成を防ぐ目的には適合しない。
解説
Guardrails のコンテキストグラウンディングチェックは、モデルの応答が提供されたソース(RAGで取得した参照文書)にどれだけ根拠づけられているか(グラウンディング)と、ユーザーの質問への関連性をスコア化し、閾値を下回る応答をブロックできます。RAGにおけるハルシネーション抑制に直接対応する機能です。
選択肢Bの拒否トピックは、特定の話題(投資助言など)への応答を禁止する機能で、根拠の有無は判定しない。
選択肢Cの単語フィルターは指定語の検出のみで、事実性・根拠は評価できない。
選択肢Dの機密情報フィルターはPIIのマスキングが目的で、ハルシネーション対策ではない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →