AIPAIの安全性、セキュリティ、ガバナンス
あるSaaS企業が、Amazon Bedrock 上で Anthropic Claude を使った社内向けQ&Aアシスタントを運用しています。セキュリティ要件として、(1)ユーザー入力に含まれる「経営層の指示を無視せよ」型のプロンプトインジェクションをブロックする、(2)モデルが社内ナレッジに存在しない事実を断定する応答(ハルシネーション)を、根拠文書との照合で検出して抑制する、という2点が求められています。両要件を Amazon Bedrock Guardrails の機能のみで満たす構成として最も適切なものはどれですか。
Aプロンプト攻撃フィルター(Prompt attacks)を有効化し、加えてコンテキストグラウンディングチェック(contextual grounding check)でグラウンディングスコアと関連性スコアのしきい値を設定する
✓ 正解
プロンプト攻撃フィルターはインジェクション/ジェイルブレイクを専門に検出して要件(1)を満たし、コンテキストグラウンディングチェックはグラウンディングスコアと関連性スコアのしきい値で根拠未裏付けの応答を抑制して要件(2)を満たすため、両要件を同時に満たす唯一の構成である。
B拒否トピック(Denied topics)に「指示の無視」を登録し、機密情報フィルター(Sensitive information filters)でハルシネーションを含む応答を正規表現マスキングする
機密情報フィルターはPIIや正規表現パターンの検出・マスキングを行う機能であり、根拠文書と照合して事実誤り(ハルシネーション)を判定する仕組みを持たないため要件(2)を満たせず誤り。
Cコンテンツフィルター(Hate/Insults/Violence など)の強度をHighに設定し、ワードフィルター(Word filters)に禁止フレーズを登録してハルシネーションを除去する
コンテンツフィルターは憎悪・侮辱・暴力などの有害カテゴリ、ワードフィルターは特定語句の遮断用で、いずれも応答が根拠文書に裏付けられているかを検証できないためハルシネーション抑制には不適である。
D拒否トピックでインジェクション文言を列挙し、コンテキストグラウンディングチェックを出力側のみに適用してすべての応答をブロックする
コンテキストグラウンディングチェックはユーザー質問への関連性も評価するため出力側のみの適用では正しく機能せず、さらにすべての応答をブロックする設計はアシスタントとして要件を満たさないため誤り。
解説
Amazon Bedrock Guardrails のプロンプト攻撃フィルター(Prompt attacks)は、入力に対しプロンプトインジェクションやジェイルブレイクを検出・ブロックする専用カテゴリで、要件(1)を満たす。
要件(2)のハルシネーション抑制には、コンテキストグラウンディングチェックが該当する。これはモデル応答が提供したソース(根拠文書)に裏付けられているか(グラウンディングスコア)と、ユーザー質問に関連しているか(関連性スコア)をしきい値で判定し、基準未満の応答をブロックできる。両機能の組み合わせが唯一2要件を満たす。
選択肢Bの機密情報フィルターはPIIや正規表現の検出・マスキング用で、事実誤認(ハルシネーション)の検出はできない。
選択肢Cのコンテンツフィルターとワードフィルターは有害表現や特定語句の制御用であり、根拠文書との照合による事実検証はできない。
選択肢Dのコンテキストグラウンディングチェックは入力の質問も参照して関連性を評価するため出力のみへの適用では機能せず、また「すべての応答をブロック」はアシスタントとして成立しない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →