通信会社がAmazon Bedrockでカスタマーサポート向けに指示ファインチューニングしたモデルを本番デプロイする前に品質評価を実施します。評価項目は「回答の正確さ」「回答の流暢さ」「企業ポリシーへの準拠」の3軸です。最も包括的かつ実用的な評価アプローチはどれか。
カスタマーサポート用途の品質評価には、定量・定性の両側面が必要です。ROUGE（参照テキストとの単語重複率）やBERTScore（事前学習モデルを用いた意味的類似性スコア）などの自動メトリクスは客観的な正確さを測定できますが、流暢さ・共感性・企業ポリシー準拠などの主観的品質はドメイン専門家のヒューマンエバリュエーションが不可欠です。 選択肢A：ROUGE単体では企業ポリシー準拠を測定できません。 選択肢B：A/Bテストはデプロイ後の比較手法であり、デプロイ前評価には不適切です。 選択肢D：テキスト長や応答速度は品質の代理指標にはなりません。