無限ノック › AIP 練習問題一覧 › 問題
AIPAIの安全性、セキュリティ、ガバナンス

医療機関がAmazon Bedrock Knowledge Basesを使用したRAGシステムで患者の医療質問に回答しています。コンプライアンスチームは「AIが取得した医療ドキュメントに根拠のない回答(ハルシネーション)を生成した場合、その回答を患者に表示してはならない」という要件を定めました。最小の実装コストでこの要件を満たす最適な方法はどれですか?

A
推論パラメータのtemperatureを0に設定しtop_pを0.1に下げることで、モデルの出力をより決定論的にしハルシネーションを抑制する
temperatureを0(決定論的)に、top_pを0.1(出力多様性制限)に設定しても、訓練データから学習したハルシネーションは防げません。パラメータ調整では根拠のない回答を完全に排除できません。
B
Amazon Bedrock GuardrailsのGrounding Check(接地確認)を有効化し、回答と取得ソースドキュメントを比較するしきい値を設定して根拠のない回答を自動ブロックする
✓ 正解
Bedrock GuardrailsのGrounding Check機能は、モデルの回答が取得ソース文書に実際に基づいているかをリアルタイム評価します。しきい値を設定することで根拠のない回答は自動ブロックされ、RAGシステムのハルシネーション対策に最適です。
C
各回答に対してROUGE-L(最長共通部分列ベースの自動評価メトリクス)スコアを計算するLambda関数を実装し、スコアが閾値を下回る場合はエラーメッセージを返す
ROUGE-Lは参考文書と回答の文字列重複度を測るメトリクスであり、意味的に矛盾したハルシネーション検出には精度が低く、医療情報の正確性検証には不十分です。
D
Amazon Comprehendを使用して回答内の医療用語を検証するパイプラインを構築し、承認済み医療用語辞書に存在しない単語を含む回答をブロックする
Amazon Comprehendは医療エンティティ(疾病名・薬剤等)の抽出・認識には有用ですが、ハルシネーション検出(回答の根拠性評価)には設計されていません。

解説

Bedrock GuardrailsのGrounding Check(接地確認)はRAGシステム向けのハルシネーション検出機能で、モデルの回答が取得ソース文書に基づいているかをリアルタイムで評価します。しきい値(0〜1)を設定することで根拠のない回答を自動ブロックできます。 Aのtemperatureを0にしても、訓練データに基づくハルシネーションは防げません。 CのROUGE-L(文字列重複度で測るメトリクス)は意味的なハルシネーション検出には不十分です。 DのComprehendは医療エンティティ認識には有用ですが、ハルシネーション検出には設計されていません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る