AIPAIの安全性、セキュリティ、ガバナンス
ある企業が Amazon Bedrock の基盤モデル選定にあたり、責任あるAIの観点で複数候補モデルの出力に含まれる有害性（toxicity）や偏り（bias）、正確性を、本番投入前に標準化された指標で比較評価したいと考えています。プロンプト集に対する自動スコアリングと、必要に応じた人手評価の両方を、追加のMLインフラを構築せずに実施することが要件です。最も適切なアプローチはどれですか。
AAmazon Bedrock Model Evaluation で自動評価ジョブと人間による評価ジョブを作成し、組み込み指標やカスタムデータセットでモデルを比較する
✓ 正解
Model Evaluation は自動評価ジョブ（組み込み指標・カスタムデータセット）と人間評価ジョブの両方を、追加のMLインフラなしで提供します。複数モデルを toxicity や accuracy など標準化指標で本番前比較する要件に直接合致します。
BAmazon Bedrock Guardrails のポリシーを各モデルに適用し、ブロック率の差をもって有害性の比較指標とする
Guardrails のブロック率は運用時にポリシー違反を遮断した割合であり、モデル間の有害性・偏り・正確性を標準化指標で比較するための評価手段ではありません。本番前のモデル選定評価には適しません。
CAmazon CloudWatch のメトリクスフィルタで各モデルのトークン使用量とエラー率を収集し、品質を相対比較する
CloudWatch メトリクスフィルタはトークン使用量やエラー率といった運用・コスト指標を収集します。出力の有害性や偏り、正確性といった品質指標は測定できず、責任あるAI観点のモデル比較には使えません。
DAmazon SageMaker Clarify の処理ジョブを自前で構築し、各 Bedrock モデルの出力をエクスポートして偏り分析を実行する
SageMaker Clarify は偏り分析が可能ですが、処理ジョブの構築・データのエクスポートを自前で行う必要があります。追加MLインフラ不要かつ自動評価と人手評価を一体提供する要件に反するため最適ではありません。
解説
Amazon Bedrock Model Evaluation は、追加のMLインフラを構築せずに、自動評価（accuracy・robustness・toxicity などの組み込み指標やカスタムデータセット）と、社内チームまたは AWS マネージドチームによる人間評価ジョブの両方を提供します。複数モデルを標準化された指標で本番前に比較する要件に最も適合します。
選択肢Bの Guardrails のブロック率は運用時の遮断指標であり、有害性や偏りを標準化評価する手段ではありません。
選択肢Cの CloudWatch メトリクスは使用量・エラー率の運用指標で、出力品質や偏りを測定できません。
選択肢Dの SageMaker Clarify は偏り分析が可能ですが、処理ジョブを自前構築する必要があり「追加MLインフラ不要」「自動と人手の両立」の要件に反します。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →