AIF基盤モデルのアプリケーション

ある企業が、Amazon Bedrockと社内ナレッジを用いたRAGチャットボットを運用しています。モデルが参照文書に根拠のない情報(ハルシネーション)を生成したり、ユーザーの質問と無関係な応答を返したりするケースを自動で検出・ブロックしたいと考えています。最も適切な機能はどれですか。

A
基盤モデルの応答品質をベンチマークするAmazon Bedrock Model Evaluation
モデル選定や検証段階で応答品質を比較評価する仕組みであり、運用中の応答をリアルタイムに検証してブロックする用途には合致しない。
B
応答が参照ソースに基づき質問に関連するかを検証するGuardrailsのコンテキストグラウンディングチェック
✓ 正解
応答が参照ソースに基づくか(グラウンディング)と質問への関連性をスコア化してしきい値以下をブロックでき、RAGのハルシネーションや的外れ応答の自動検出という要件に直接適合する。
C
出力から個人情報を検出してマスキングするGuardrailsの機密情報フィルター
出力中の個人情報を検出・マスキングする機能であり、参照文書に根拠のないハルシネーションの検出を目的とした機能ではない。
D
モデルへのAPIアクセスを制限するIAMの最小権限ポリシー
APIレベルのアクセス権限を制御する仕組みであり、生成された応答内容が参照ソースに基づくかどうかの妥当性検証には関与しない。

解説

Guardrails for Amazon Bedrockのコンテキストグラウンディングチェックは、モデルの応答が提供された参照ソース(コンテキスト)に基づいているか(グラウンディング)、およびユーザーの質問に関連しているか(関連性)をスコアリングし、しきい値を下回る応答をブロックできます。 RAGにおけるハルシネーションや的外れな応答の自動検出という要件に直接適合します。 選択肢のModel Evaluationは開発・検証段階でモデル品質を比較評価する仕組みで、運用中の応答をリアルタイムにブロックするものではない。 選択肢の機密情報フィルターは個人情報の検出・マスキングが目的で、ハルシネーション検出は行わない。 選択肢のIAMポリシーはアクセス制御の仕組みで、応答内容の妥当性検証には関与しない。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIF の問題一覧に戻る