製造業の企業が、本番運用中の Amazon Bedrock 生成AIアプリについて、新しい基盤モデルへの切り替え可否を判断したいと考えています。ガバナンス要件は次の通りです。(1)有害性(toxicity)・堅牢性・正確性を定量スコアで比較する、(2)自社固有の専門ドメインのQ&A正答性は人手で評価する、(3)評価作業はマネージドに実施しAWS外へデータを出さない。これらを満たす Amazon Bedrock の機能はどれですか。
Amazon Bedrock Model Evaluation は、モデル選定・比較のためのマネージド評価機能で、自動評価ジョブでは正確性(accuracy)・堅牢性(robustness)・有害性(toxicity)などの指標を組み込みデータセットまたは独自データセットで定量化できる(要件1)。 さらに人間による評価ジョブを作成でき、自社の専門ドメインQ&Aを社内チームまたはAWSマネージドワークフォースが採点できる(要件2)。これらはBedrock内で完結しデータをAWS外へ出さない(要件3)。 選択肢BのKnowledge Bases評価はRAG向けで、モデル横断の有害性・堅牢性比較や統合された人間評価ジョブを提供しない。 選択肢CのGuardrailsにモデル比較レポート機能はなく、生データのエクスポートは要件3に反する。 選択肢DのProvisioned Throughputはスループット確保用、CloudTrailは操作監査ログであり、正確性や有害性の品質評価はできない。