無限ノック › AIP 練習問題一覧 › 問題
AIPAIの安全性、セキュリティ、ガバナンス

製造業の企業が、本番運用中の Amazon Bedrock 生成AIアプリについて、新しい基盤モデルへの切り替え可否を判断したいと考えています。ガバナンス要件は次の通りです。(1)有害性(toxicity)・堅牢性・正確性を定量スコアで比較する、(2)自社固有の専門ドメインのQ&A正答性は人手で評価する、(3)評価作業はマネージドに実施しAWS外へデータを出さない。これらを満たす Amazon Bedrock の機能はどれですか。

A
Bedrock Model Evaluation の自動評価ジョブで toxicity・robustness・accuracy を計測し、加えて人間による評価ジョブ(社内チームまたはAWSマネージドワークフォース)で専門Q&Aを採点する
✓ 正解
Bedrock Model Evaluation は自動評価ジョブで toxicity・robustness・accuracy を定量化し、人間評価ジョブで専門Q&Aを社内またはマネージドワークフォースが採点でき、すべてBedrock内で完結しデータを外部に出さないため3要件を満たす唯一の選択肢である。
B
Bedrock Knowledge Bases の評価メトリクスで自動採点し、専門Q&Aは CloudWatch のカスタムメトリクスへ手動入力して比較する
Knowledge Bases の評価はRAG検索・生成品質向けで、複数基盤モデル間の有害性・堅牢性の比較や統合された人間評価ジョブを提供せず、要件1・2を満たせないため誤りである。
C
Bedrock Guardrails のモデル比較レポートで自動スコアを取得し、人間評価は SageMaker Ground Truth に生データをエクスポートして実施する
Bedrock Guardrails にモデル比較レポート機能は存在せず、人間評価のために生データをSageMakerへエクスポートする手順はデータをAWS外に出さないという要件3にも反するため不適切。
D
Bedrock の Provisioned Throughput を両モデルに設定し、CloudTrail のログ差分から正確性と有害性を統計的に算出する
Provisioned Throughput は推論キャパシティ確保のための機能で、CloudTrail は API 操作の監査ログであり、いずれもモデル応答の正確性や有害性といった品質指標を評価できないため誤りである。

解説

Amazon Bedrock Model Evaluation は、モデル選定・比較のためのマネージド評価機能で、自動評価ジョブでは正確性(accuracy)・堅牢性(robustness)・有害性(toxicity)などの指標を組み込みデータセットまたは独自データセットで定量化できる(要件1)。 さらに人間による評価ジョブを作成でき、自社の専門ドメインQ&Aを社内チームまたはAWSマネージドワークフォースが採点できる(要件2)。これらはBedrock内で完結しデータをAWS外へ出さない(要件3)。 選択肢BのKnowledge Bases評価はRAG向けで、モデル横断の有害性・堅牢性比較や統合された人間評価ジョブを提供しない。 選択肢CのGuardrailsにモデル比較レポート機能はなく、生データのエクスポートは要件3に反する。 選択肢DのProvisioned Throughputはスループット確保用、CloudTrailは操作監査ログであり、正確性や有害性の品質評価はできない。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る