AIPテスト、検証、トラブルシューティング
あるカスタマーサポート企業が、Amazon Bedrock Knowledge Bases と Claude による社内FAQ回答ボットを運用しています。本番で「検索された文脈には書かれていない事実をモデルが付け足して回答する」ハルシネーションが散発し、コンプライアンス部門から「回答が取得文脈に根拠を持つことを保証せよ」と指示されました。アプリのコード改修を最小限にし、根拠が薄い回答は自動でブロックまたは差し替えたいと考えています。最も適した対策はどれですか。
AAmazon Bedrock Guardrails のコンテキストグラウンディングチェックを有効化し、グラウンディングスコアと関連性スコアのしきい値を設定して、文脈に根拠のない応答をブロックする
✓ 正解
コンテキストグラウンディングチェックはグラウンディングスコアと関連性スコアのしきい値で応答が取得文脈に裏付けられているかを実行時に判定し、根拠の薄い応答を自動ブロック・差し替えできるため、コード改修を最小化しつつ根拠保証の要件を満たせます。
Bプロンプトに「文脈にない情報は答えないこと」という指示文を追加し、temperature を 0 に下げてモデルの創造性を抑制する
プロンプト指示とtemperature=0は出力のばらつきを減らす効果はあるものの、ハルシネーションの抑止は確率的で保証がなく、根拠のない応答を自動的にブロックする仕組みも持たないため要件を満たせません。
CKnowledge Bases のチャンクサイズを小さくし、埋め込みモデルをより高次元のものに変更して検索精度を上げる
チャンクサイズや埋め込みモデルの変更は検索（リトリーバル）の精度向上施策であり、生成された応答が文脈に根拠を持つかを実行時に検証・ブロックする機構ではないため、ハルシネーションの保証付き抑止には直接寄与しません。
DAmazon Bedrock Model Evaluation のバッチ評価ジョブを定期実行し、忠実性スコアが低い回答をレポートして後日プロンプトを改善する
Model Evaluationの忠実性スコア評価はオフラインのバッチ処理で品質を可視化するものであり、本番応答をリアルタイムに判定してブロック・差し替えする実行時ガードの役割は果たせません。
解説
取得した文脈に根拠を持たない応答を実行時に自動検出・ブロックするには、Bedrock Guardrails のコンテキストグラウンディングチェックが最適です。グラウンディングスコア（応答が文脈に裏付けられているか）と関連性スコア（応答が質問に関連するか）のしきい値を設定でき、根拠が薄い応答をブロック・差し替えできます。Guardrails はアプリ側の改修を最小限にできます。
選択肢Bのプロンプト指示とtemperature調整は効果が確率的で、ハルシネーションを保証付きで防止・ブロックできません。
選択肢Cのチャンク・埋め込み調整は検索精度を上げる施策で、生成時の根拠保証やブロック機構ではありません。
選択肢DのModel Evaluationはオフラインのバッチ評価で、実行時にリアルタイムでブロックする仕組みではありません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →