AIP基盤モデルの統合、データ管理、コンプライアンス
フィンテック企業は、金融規制に関する質問に回答するRAGシステムを本番稼働させています。コンプライアンス担当者から「ソースドキュメントに存在しない規制情報が生成される事象がある」と報告されています。チームはこの問題をリアルタイムで検出・防止しつつ、定期的に評価指標として定量化したいと考えています。最も適切なアプローチはどれですか？
AAmazon CloudWatchでAPIレイテンシとエラーレートを監視し、閾値超過時にSNSアラートをコンプライアンス担当者に送信する
CloudWatchのAPIレイテンシとエラーレートはインフラメトリクスであり、ハルシネーション検出には直結しません。ハルシネーションの存在を検知できません。
BAmazon Bedrock GuardrailsのGrounding Checkを有効化してリアルタイムでハルシネーションを検出・ブロックし、Amazon Bedrock Model Evaluationでfaithfulness（忠実性）メトリクスを定期的に測定する
✓ 正解
Bedrock GuardrailsのGrounding Checkは生成回答がコンテキストに基づいているかをリアルタイム評価し、根拠なし回答をブロックします。Model Evaluationのfaithfulnessメトリクスで体系的な品質を定期測定できます。
Cすべての出力をDynamoDBにキャッシュして同一質問への回答の一貫性をROUGE（Recall-Oriented Understudy for Gisting Evaluation：テキスト生成の自動評価指標）スコアで測定し、閾値以下の回答を拒否する
ROUGEは参照テキストとの表面的な統計的類似性を測定しますが、根拠のない内容生成の検出には適していません。DynamoDBキャッシュも根拠検証ではなく一貫性確保に過ぎません。
DAWS Step Functionsを使用して全回答をコンプライアンス担当者が手動レビューするワークフローを構築し、承認された回答のみを返答する
手動レビューは対応コストが極めて大きく、スケーラビリティがありません。自動化による継続的な品質保証には対応していない実装です。
解説
Amazon Bedrock GuardrailsのGrounding Checkを有効化してリアルタイムでハルシネーションを検出・ブロックし、Amazon Bedrock Model Evaluationでfaithfulness（忠実性）メトリクスを定期的に測定する。
Bedrock GuardrailsのContextual Grounding Checkは、生成された回答が検索されたコンテキストに基づいているかをリアルタイムで評価し、根拠のない回答をブロックします。Bedrock Model Evaluationのfaithfulnessメトリクスは体系的な品質測定に有効で、定量的な定期評価も実現できます。
選択肢AのCloudWatch監視はAPIレイテンシやエラーレートなどインフラ指標のみで、ハルシネーション検出には直結しません。
選択肢CのROUGEは参照テキストとの表面的な類似度を測る指標で、根拠のない生成内容の検出には適しません。DynamoDBキャッシュも一貫性確保にすぎず根拠検証にはなりません。
選択肢DのStep Functionsによる全件手動レビューは対応コストが大きく、スケーラブルな継続的品質保証には向きません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →