無限ノック › AIP 練習問題一覧 › 問題
AIPAIの安全性、セキュリティ、ガバナンス

金融アドバイザリー会社がAmazon Bedrock Knowledge BasesとGuardrailsのContextual Grounding Check(文脈的根拠チェック:モデルのレスポンスが取得したソース文書に根拠を持つかを検証する機能)を使用したRAGチャットボットを運用しています。Groundingしきい値(Grounding Threshold)は0.75に設定されています。オペレーションチームから「知識ベースに関連情報が存在するにもかかわらず、全レスポンスの40%が『根拠チェック失敗』でブロックされている」という報告があり、顧客満足度が低下しています。この問題の原因と対策として最も適切なものはどれですか?

A
Groundingしきい値を0.90に引き上げてモデルに高い根拠スコアを要求することで、誤検知(False Positive)も同時に解消される
しきい値を0.90に上げると基準がさらに厳格になり、ブロック率は40%から増加します。これは誤検知を増加させる逆効果です。
B
Groundingしきい値が0.75と高すぎるため誤検知が多発している。しきい値を0.5程度に下げることで、適度に根拠のあるレスポンスを通過させる
✓ 正解
Bedrock GuardrailsのContextual Grounding Checkでは、レスポンスのgroundingスコア(0〜1)がしきい値以上の場合のみ通過が許可されます。しきい値が高いほど厳格になり、より多くのレスポンスがブロックされます。知識ベースに関連情報があるにもかかわらず40%がブロックされている場合、しきい値0.75が高すぎることが原因です。しきい値を下げることで、十分に根拠のあるレスポンスが誤ってブロックされる割合を減らせます。
C
Contextual Grounding Checkを無効化し、代わりにAmazon LambdaとBedrock埋め込みモデルを使用したカスタム後処理バリデーターを実装する
ネイティブ機能の設定調整で解決可能な問題に対してカスタム実装は過剰です。Lambda + 埋め込みモデルによる実装は開発・運用コストが増大します。
D
Relevance Check(関連性チェック)を追加で有効化し、Groundingしきい値は変更しない。Relevance Checkがクエリの関連性を先にフィルタリングすることで誤検知が解消される
Relevance Checkはユーザーのクエリがナレッジベースのトピックに関連するかを確認する別目的の機能です。Groundingしきい値を変更せずにRelevance Checkを追加しても、グラウンディング誤検知の問題は解消されません。

解説

Bedrock GuardrailsのContextual Grounding Checkでは、レスポンスのgroundingスコア(0〜1)がしきい値以上の場合のみ通過が許可されます。しきい値が高いほど厳格になり、より多くのレスポンスがブロックされます。知識ベースに関連情報があるにもかかわらず40%がブロックされている場合、しきい値0.75が高すぎることが原因です。しきい値を下げることで、十分に根拠のあるレスポンスが誤ってブロックされる割合を減らせます。 選択肢Aはしきい値を0.90に上げると基準がさらに厳格になり、ブロック率は40%から増加します。これは誤検知を増加させる逆効果です。 選択肢Cはネイティブ機能の設定調整で解決可能な問題に対してカスタム実装は過剰です。Lambda + 埋め込みモデルによる実装は開発・運用コストが増大します。 選択肢DはRelevance Checkはユーザーのクエリがナレッジベースのトピックに関連するかを確認する別目的の機能です。Groundingしきい値を変更せずにRelevance Checkを追加しても、グラウンディング誤検知の問題は解消されません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る