AIPテスト、検証、トラブルシューティング
ある金融サービス企業が、Amazon Bedrock（Claude）を使った投資レポート要約APIを本番運用しています。監査の結果、出力に「元データに存在しない具体的な数値・固有名詞」が混入するハルシネーションが月数件発生していることが判明しました。要約対象は入力プロンプトに全て含まれており（RAGは未使用）、コンテキストは十分に収まっています。本番のレイテンシーSLA（p95で3秒以内）と追加コスト最小化を維持しつつ、出力に元データ外の事実が含まれていないかを自動検証して逸脱を検出・ブロックする最も適切な対策はどれですか。
ABedrock Guardrailsのコンテキストグラウンディングチェック（Contextual grounding check）を有効化し、ソース文脈と乖離した出力をしきい値でフィルタリングする
✓ 正解
コンテキストグラウンディングチェックは出力がソース文脈に根拠づくかをスコア化しリアルタイムで遮断する機能で、推論時インライン動作のため低レイテンシー・低コストで事実逸脱の検出ブロックを実現でき要件に合致する。
BBedrock Model Evaluationの自動評価ジョブを本番トラフィックに対しリアルタイムで実行し、低スコア応答を即時に再生成させる
Model Evaluationはモデル選定や品質測定のためのオフライン/バッチ評価ジョブで、本番トラフィックをリアルタイムに遮断する用途には設計されておらず、検出してから再生成する即時ブロック要件を満たせない。
Cプロンプトに『推測しないでください』とシステム指示を追加し、temperatureを0にして決定論的出力にすることで事実逸脱を抑止する
システム指示やtemperature=0は逸脱の発生確率を下げる予防策にすぎず、出力が元データ外の事実を含むかを検証してブロックする検出機構ではないため、自動検証・遮断という要件を満たさない。
D出力をSQSにキューイングし、別のClaudeモデルでファクトチェックを行うバッチ処理を1時間ごとに実行して逸脱を事後検出する
1時間ごとのバッチ事後チェックは逸脱を遅延検出するだけで、応答返却時点での遮断ができず、別モデル呼び出しの追加コストも発生するため、リアルタイム検出ブロック要件に反する。
解説
Bedrock Guardrailsのコンテキストグラウンディングチェックは、モデル出力がソース文脈（grounding source）に根拠づけられているか、ユーザークエリに関連しているかをスコア化し、しきい値未満の応答をリアルタイムでブロックする機能で、ハルシネーション検出・遮断の要件に直接合致する。
推論時にインラインで動作するため低レイテンシーで、追加の評価ジョブやモデル呼び出しに比べてコストとSLAへの影響が小さい。
選択肢BのModel Evaluationはオフライン/バッチのモデル比較・評価用ジョブで、本番のリアルタイム遮断には設計されていない。
選択肢Cのプロンプト指示やtemperature=0は逸脱の確率を下げるだけで、出力の事実逸脱を検証・ブロックする仕組みではない。
選択肢Dのバッチ事後チェックは1時間遅延の事後検出であり、逸脱応答のリアルタイム遮断ができずSLA時点ではブロックできない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →