無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

ある不動産テック企業がAmazon Bedrockを使って物件説明文を自動生成するシステムを構築しています。生成されたテキストが物件データベースの事実(床面積・築年数・設備の有無)と一致しているかを検証する品質ゲートが必要です。モデルが存在しない設備を追加したり数値を誤って生成するハルシネーションを自動的に検出・ブロックしたいと考えています。最もAWSネイティブで効果的な実装はどれですか?

A
Amazon Comprehendに生成テキストを送信してエンティティ(数値・固有名詞)を抽出し、抽出された値を物件データベースの正解データと照合してハルシネーションを検出するLambda関数をパイプラインに組み込む
Amazon Comprehendはエンティティ(数値・固有名詞)の抽出が主な機能であり、抽出した値が物件データベース情報と意味的に一致するかを判断する機能はありません。照合ロジックの別途実装が必要で複雑な事実判断には対応が難しいです。
B
Amazon Bedrock Guardrailsのグラウンディングチェック機能を有効化し、生成テキストとプロンプト内のソース情報(物件スペックデータ)を評価してモデル出力がソースに根拠を持つかを自動スコアリング・フィルタリングする
✓ 正解
Bedrock GuardrailsのGrounding CheckはLLMが生成したテキストとプロンプト内ソース情報を比較してグラウンディングスコアを算出し、設定閾値を下回るレスポンスを自動ブロックします。追加インフラ不要でAWSネイティブに実装でき、物件データに基づくハルシネーション検出に最適です。
C
生成されたテキストをベクトル化してAmazon OpenSearch Serverlessに格納した物件情報ドキュメントとコサイン類似度を計算し、類似度が設定閾値未満の場合にハルシネーションとして検出する自動パイプラインを構築する
OpenSearch Serverlessによるコサイン類似度はセマンティックな意味の近さを測定しますが、50㎡と55㎡のような数値の微妙な違いは類似度が高く出るため事実の正確性検証に精度が不十分です。また専用ベクトルDBインフラの構築・管理コストが発生します。
D
Claude Haikuを評価者モデルとして別途設定し、生成テキストと物件スペックデータを両方入力して事実の正確性を評価するプロンプトを実行し、スコアが基準未満の出力をリジェクトするLambdaゲートを実装する
LLM-as-judgeアプローチは事実確認の精度は高いものの、生成リクエストごとに追加のLLM呼び出しコストが発生し、Guardrails Grounding Checkが同等機能をマネージドで提供している場合と比べてコストと実装の複雑さが不利です。

解説

Amazon Bedrock GuardrailsのGrounding Check(グラウンディングチェック)機能は、モデルが生成したテキストがプロンプト内に提供されたソース情報に根拠を持つかを自動的に検証するハルシネーション検出機能です。Guardrails設定でグラウンディングチェックを有効化し、グラウンディングスコアの閾値を設定すると、生成テキストがソース情報と一致しない箇所(物件データに記載のない設備の追加・数値の誤りなど)が検出されたレスポンスは自動的にBLOCKされるかカスタムメッセージに置換されます。追加のインフラや外部サービスを必要とせず、Guardrails設定のみで実装できるAWSネイティブな解決策です。 選択肢AのAmazon Comprehendはエンティティ抽出には優れていますが、抽出した値が物件データと意味的に一致するかを判断するロジックを別途実装する必要があり、「バス停から徒歩5分」のような文脈依存の事実判断には対応できません。 選択肢CのOpenSearch Serverlessによるコサイン類似度アプローチはセマンティックな意味の近さを測定しますが、数値の微妙な違い(50㎡と55㎡など)は類似度が高く出る場合があり、事実の正確性検証には精度が不十分です。また専用ベクトルDBインフラの構築・管理が必要です。 選択肢DのClaude HaikuによるLLM-as-judgeアプローチは精度面では有効ですが、生成リクエストごとに追加のLLM呼び出しコストが発生し、GuardrailsのGrounding Checkが同等の機能をマネージドで提供している場合と比べてコストと実装複雑さが増します。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る