製薬会社が Amazon Bedrock を使用した薬物相互作用（DDI: Drug-Drug Interaction）Q&A システムを構築し、本番デプロイ前の品質評価を実施しています。評価対象の品質次元は以下の通りです： ①臨床的正確性（相互作用の説明が医学的に正しいか） ②禁忌情報の完全性（すべての重要な禁忌が記載されているか） ③重大度レベルの適切な表現 ④エビデンスが限られる場合の不確実性の適切な表明 評価チームの制約： ・臨床薬剤師がレビューできるのは最大 200 件 ・テストデータセットは 5,000 件の Q&A ペア ・ROUGE や BERTScore などの従来の NLP 指標は語彙的類似度を測定するため、臨床的正確性の評価には不十分と判断された 5,000 件すべてを評価しながら臨床品質基準を維持できる、Amazon Bedrock Model Evaluation の評価アプローチはどれですか？
正解： モデルベース評価：高性能な基盤モデル（例：Claude 3 Opus）を評価者（LLM-as-judge）として使用し、臨床的なルーブリックを定義した評価プロンプトで 5,000 件すべてを自動採点する。 Amazon Bedrock Model Evaluation はモデルベース評価（LLM-as-judge：大規模言語モデルを評価者として活用する手法）をサポートしており、従来の指標では測定できない意味的・専門的品質をスケーラブルに評価できます。Claude 3 Opus などの高性能モデルを評価者に指定し、①臨床的正確性 ②禁忌情報の完全性 ③重大度表現 ④不確実性表明という各次元の採点基準をシステムプロンプトで定義します。5,000 件すべてを自動評価でき人的スケール制約を解消します。ROUGE と異なり意味的・事実的正確性を評価でき、医薬品ドメインの専門知識もプロンプトで補完できます。 選択肢Aは、人間評価は最大 200 件しかカバーできず 5,000 件のテストセット全体を評価できません。また、5,000 件に対応するには 200 名の臨床薬剤師を確保する必要があり時間・コスト面で非現実的です。 選択肢Bは、ROUGE-L は n-gram の語彙的一致率を測定しますが、臨床的正確性・禁忌の完全性・重大度の適切な表現は語彙的類似度とは独立した品質次元であり評価できません。参照回答との単語一致率が高くても医学的に誤った情報を含む可能性があります。 選択肢Dは、Bedrock Guardrails は有害コンテンツのブロック・PII の検出・マスキングなどを行う本番運用向けの安全フィルタリングサービスです。回答の臨床品質（正確性・完全性・重大度表現）を体系的に採点する評価機能ではなく今回の要件には対応できません。