無限ノック › AIP 練習問題一覧 › 問題
AIPAIの安全性、セキュリティ、ガバナンス

小売企業がAmazon Bedrock Knowledge Basesを使ったRAGアプリケーションを本番運用している。製品情報ナレッジベースに基づいて顧客の質問に回答するチャットボットだが、「ナレッジベースにない情報(ハルシネーション)が回答に含まれる」という顧客苦情が増加している。 担当エンジニアは、回答がナレッジベースから取得されたコンテキストに基づいていない場合にリアルタイムでブロックする仕組みを最小の実装工数で導入したい。最適なソリューションはどれか。

A
Amazon Bedrock Model Evaluationを定期実行してBERTScoreを測定し、スコアが閾値を下回った場合にCloudWatchアラームで開発チームに通知する
Amazon Bedrock Model Evaluationはバッチ処理でモデル全体のパフォーマンスを評価するサービスです。BERTScoreなどの指標を測定できますが、本番リクエストをリアルタイムで評価・ブロックする機能はなく、問題のある回答が顧客に届いた後の事後検知にとどまります。
B
Amazon Bedrock GuardrailsのContextual Grounding Check(文脈的根拠確認)機能を有効化し、グラウンディングスコアの閾値を設定してコンテキストに基づかない回答を自動ブロックする
✓ 正解
Amazon Bedrock GuardrailsのContextual Grounding Checkは、RAGアプリケーションの回答がコンテキストに基づいているかをリアルタイムで評価し、閾値を下回る場合に自動ブロックする専用機能です。APIパラメータ設定のみで導入でき、追加アーキテクチャが不要で実装工数が最小となります。
C
各レスポンスをトリガーにLambda関数から別途Bedrock InvokeModel APIを呼び出し、「このレスポンスは提供されたコンテキストに基づいているか?」というプロンプトで検証する
Lambda関数による二重呼び出しは技術的に機能しますが、検証用の追加LLM呼び出しによるレイテンシ増加・コスト倍増・実装複雑化が避けられません。同等の機能をGuardrailsが専用機能として提供している場合には最適解ではありません。
D
Knowledge Basesからの検索結果と生成された回答をペアでDynamoDBに保存し、人間レビュアーが週次でハルシネーションを確認・フィードバックするワークフローを構築する
週次の人間レビューワークフローはリアルタイムブロックの要件を根本的に満たしません。問題のある回答がすでに顧客に届いた後の事後確認にとどまり、ハルシネーションによる顧客苦情の増加を防ぐことができません。

解説

Amazon Bedrock GuardrailsのContextual Grounding Check(文脈的根拠確認)は、RAGアプリケーション向けにモデルの回答がコンテキスト(取得されたドキュメント)に基づいているかをリアルタイムで評価する専用機能。 グラウンディングスコア(0〜1)を計算し、設定した閾値を下回る回答を自動的にブロックまたは置換する。Knowledge Basesと組み合わせた `RetrieveAndGenerate` API、もしくは `InvokeModel` にGuardrailを適用する場合もAPIの `guardrailIdentifier` パラメータを設定するだけであり、追加アーキテクチャの開発は不要で実装工数が最小となる。 選択肢AのBedrock Model Evaluationはバッチ処理でモデル全体のパフォーマンスを評価するサービスであり、本番リクエストをリアルタイムでブロックする機能は持たない。 選択肢CのLambdaを使った二重呼び出しアーキテクチャは動作するが、追加のレイテンシ増加・コスト倍増・実装複雑化を招き、専用機能が存在する場合の最適解ではない。 選択肢Dの人間レビューワークフローはリアルタイムブロックの要件を満たさず、問題のある回答が顧客に届いた後の事後対応にとどまる。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る