無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

金融サービス企業が、Amazon Bedrock Knowledge Basesを使った規制対応QAシステムを本番運用しています。コンプライアンス監査の結果、取得した原典文書に根拠のない記述が一部のレスポンスに含まれていることが判明しました。追加インフラを最小限に抑えつつ、取得コンテキストに根拠のないレスポンスを自動的に検出・ブロックするメカニズムを実装する必要があります。この要件を最もよく満たすソリューションはどれですか。

A
取得コンテキストとモデルレスポンスをLambdaで第2のClaudeモデルに渡し、グラウンディング検証プロンプトでスコアリングして基準値未満のレスポンスをブロックするポスト処理レイヤーを構築する
第2のClaudeモデルを使った検証は技術的に可能だが、追加のAPI呼び出しによるレイテンシ増加とコスト増加が発生する。「追加インフラを最小限に」という要件に反し、Guardrailsのネイティブ機能で同等の目的が達成できるため非効率である。
B
Amazon Bedrock GuardrailsのContextual Grounding Checkを設定し、FaithfulnessとRelevanceの閾値を定義して取得コンテキストに根拠のないレスポンスをAPIレイヤーで自動ブロックする
✓ 正解
Bedrock GuardrailsのContextual Grounding Checkはまさにこの用途のために設計された機能で、FaithfulnessとRelevanceの閾値設定により取得コンテキストに根拠のないレスポンスをAPIレイヤーで自動ブロックできる。追加インフラ不要でBedrockに統合されており、要件に最も合致する。
C
Amazon ComprehendのエンティティAPIでレスポンス内の固有表現を抽出し、各エンティティが取得済みドキュメントチャンク内に存在するかを確認してから回答を返すバリデーション処理を追加する
Amazon Comprehendのエンティティ検出はテキスト中の人名・地名・組織名などを識別するサービスだが、RAGのグラウンディング評価(応答全体がコンテキストに基づいているか)とは目的が異なり、要件を満たせない。
D
Knowledge Basesのソースアトリビューション機能を活用し、信頼スコアが0.7未満のレスポンスセグメントをフロントエンドUIから非表示にするよう実装チームに依頼する
Knowledge Basesのソースアトリビューションは取得ドキュメントの関連性スコアを返す機能であり、モデルが生成したレスポンスがコンテキスト外の情報を含んでいないかを検証するグラウンディング評価とは異なる。フロントエンド側の対処でありサーバーサイドの自動ブロックにならない。

解説

Amazon Bedrock GuardrailsのContextual Grounding Checkは、RAGシステムで取得したコンテキストとモデルの応答を自動比較し、Faithfulness(応答がコンテキストに忠実か)とRelevance(クエリへの関連性)の2つのスコアを算出する専用機能である。設定した閾値を下回る応答はBedrockのAPIレイヤーで自動ブロックされ、追加のLambdaや外部コンポーネントを必要とせずBedrockのマネージドサービスとして完結する。追加インフラを最小限に抑えながらコンプライアンス要件を自動化するのに最も適したソリューションである。 選択肢Aの第2のClaudeモデルによる検証は機能するが、追加のAPI呼び出しコストとレイテンシが発生し、「追加インフラを最小限に」という要件に反する。 選択肢CのAmazon Comprehendエンティティ検出は固有表現の存在確認に限定され、文脈的な根拠確認(応答全体がコンテキストに忠実かどうか)には対応できない。 選択肢DのKnowledge Basesソースアトリビューションはドキュメント取得時の関連性スコアを示すものであり、モデルが生成した応答がコンテキスト外の情報を含むかどうかの判定はできない。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る