保険会社が複雑な保険約款（数百ページの法的文書）をAmazon Bedrockで要約するシステムを稼働させています。クレーム担当者から「原文に記載のない免責条項や保険金額が要約に含まれる」というフィードバックが寄せられました。エンジニアチームはハルシネーションの発生率を継続的かつ定量的にトラッキングする仕組みを構築する必要があります。最も適切なアプローチはどれですか？
Amazon Bedrock Guardrailsのグラウンディングチェックは、生成されたテキストが提供されたソースコンテキストに基づいているかを評価する機能です。ApplyGuardrail APIを使って生成された要約と元の約款テキストをgrounding_sourceとして渡すと、0〜1のグラウンディングスコアが返されます。スコアが低いほど応答がソースから乖離している（ハルシネーションの可能性が高い）と判定されます。スコアをCloudWatchカスタムメトリクスとして継続的に記録することで、時系列でのハルシネーション率トラッキングと閾値アラームによる異常検知が実現できます。 選択肢AのROUGE-Lは語彙的な重複を測定するメトリクスであり、同じ意味を別の語彙で表現した正確な要約のスコアが低くなったり、原文の文言をコピーした不完全な要約のスコアが高くなったりするため、事実忠実性の評価には適していません。 選択肢CのChain-of-Thoughtプロンプティングはハルシネーションを軽減する可能性がありますが、発生率の定量的なトラッキングという要件には直接応えません。 選択肢Dの人間評価は高品質ですが、スケールせず毎月の集計では継続的なリアルタイムモニタリングには対応できません。