無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

Eラーニングプラットフォームが Amazon Bedrock Knowledge Bases を使った AI チューターシステムを本番運用しています。ユーザーから「AIが教材の内容と矛盾する回答をしている」という報告が増加しており、チームは回答がソースドキュメントに根拠を持たないケースをリアルタイムで検出・ブロックし、ユーザーへの誤情報提供を防ぐ仕組みを、追加の開発工数を最小限に抑えて実装したいと考えています。最も適切なアーキテクチャはどれですか?

A
Amazon Bedrock Guardrails のグラウンディングチェック機能を有効化し、取得したソースドキュメントと生成された回答の整合性スコアが閾値を下回った場合に、自動的にレスポンスをブロックして代替メッセージを返す
✓ 正解
Bedrock Guardrails のグラウンディングチェックは Knowledge Bases と統合可能なマネージド機能で、ソースドキュメントとレスポンスの整合性をリアルタイム評価し、スコアが閾値を下回ると自動ブロックする。追加コード実装が最小限で済み、開発工数削減と誤情報防止の両要件を同時に満たす。
B
Lambda 関数でモデルレスポンスをキャプチャし、別の Bedrock 推論呼び出しを使って「この回答はコンテキストドキュメントに基づいているか?」を検証する自己評価プロンプトを実行し、No と判定された回答をフィルタリングする
Lambda + セルフ評価プロンプトはモデルへの追加 API 呼び出しが必要でレイテンシとコストが増加する。また同じモデルが自身の出力を評価するセルフチェックは評価の独立性が低く、ハルシネーションを見逃すリスクが高いため信頼性に欠ける。
C
Amazon OpenSearch Serverless の検索関連性スコアを CloudWatch カスタムメトリクスとして記録し、スコアが閾値を下回るクエリを検出して人手レビューキューへ自動転送することで品質管理を行う
OpenSearch の検索関連性スコアはドキュメントとクエリの類似度を示すが、生成フェーズで LLM がそのドキュメント内容を実際に参照して回答しているかは判定できない。取得品質と生成品質(グラウンディング)は別の評価軸であり混同している。
D
Bedrock モデル呼び出しログの InputTokenCount と OutputTokenCount の比率を CloudWatch アラームで監視し、通常範囲外になった場合にハルシネーションの可能性としてオペレーターへ通知する
トークンCount比率は応答の長さパターンを示す統計的指標にすぎず、個々の回答が特定のドキュメントに根拠を置いているかどうかを評価する手法としては信頼性がなく、ハルシネーション検出への利用は不適切。

解説

Bedrock Guardrails のグラウンディングチェックは、RAG パイプラインにおいて取得されたソースコンテキストと生成レスポンスの整合性をリアルタイムで評価するマネージド機能です。Knowledge Bases と統合すると、ソースドキュメントに記載のない主張や文書内容と矛盾する情報を含む回答を自動的に検出してブロックできます。設定はしきい値の調整のみで、カスタムコードの実装が最小限で済むため開発工数を抑えられます。 選択肢BのLambda + セルフ評価プロンプトは、追加の Bedrock API 呼び出しによるレイテンシ増加とコスト増大を招くうえ、同一モデルによるセルフチェックは評価の独立性が低くハルシネーションを見逃すリスクが高い。 選択肢CのOpenSearch 検索関連性スコアは、ドキュメントとクエリの取得関連性は評価できるが、生成テキストがそのドキュメントに実際に根拠を置いているかどうかは検証できない。 選択肢DのトークンCount比率は応答パターンの統計的偏りを検出するものであり、個々のレスポンスの事実的グラウンディングを評価する信頼できる手法ではなく誤検知率が高くなる。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る