無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

金融機関がAmazon Bedrock Guardrailsに以下の3つのポリシーを設定し、顧客向けチャットボットに適用しました。 ・有害コンテンツフィルタリング ・競合他社製品への言及拒否 ・顧客の個人情報(PII)マスキング 本番リリース前に、コンプライアンスチームがすべてのポリシーを網羅的かつ効率的に検証する最も適切な方法はどれですか?

A
ガードレールをアタッチしたBedrock Agentを検証用に別途構築し、各ポリシーカテゴリをカバーするプロンプト100件を送信して応答をCloudWatch Logsに記録し、エンジニアが手動でフィルタリングの動作を確認する
Bedrock Agentを経由するとモデル呼び出しコストが発生し、ガードレールの詳細な判定(どのポリシーがどのアクションを取ったか)よりもエージェント応答の確認が中心になります。ポリシーごとの網羅的な検証には非効率なアプローチです。
B
ApplyGuardrail APIを使用してテストプロンプトをガードレールに直接送信し、モデルを呼び出さずに返却されるguardrailAssessmentのポリシーアクションを検証して全ポリシーの動作を確認する
✓ 正解
ApplyGuardrail APIはモデルを呼び出さずにガードレール動作を直接テストできる専用APIです。guardrailAssessmentには各ポリシーのアクションが含まれるため、有害コンテンツフィルタ・トピック拒否・PIIマスキングのすべてを体系的かつ低コストで検証できます。
C
ガードレールをステージング環境にデプロイし、QAチームが2週間にわたって手動でプロンプトを入力してテストを行い、問題があれば都度設定を修正してから本番リリースを判断する
手動QAテストは再現性・網羅性・スピードの面で不十分です。コンプライアンス検証では各ポリシーのエッジケースを体系的にカバーする必要があり、2週間の手動テストではカバレッジの漏れが生じるリスクがあります。
D
Bedrock Model Evaluationジョブを作成して各ポリシーカテゴリのテストプロンプトセットに対してROUGEスコアを算出し、ガードレールによるフィルタリング有効性を定量的に評価する
Bedrock Model Evaluationはモデルのテキスト出力品質をROUGEなどで測定するツールであり、ガードレールのポリシー判定(どのコンテンツをブロック・マスキングするか)を評価する機能を持っていないため、この要件には適していません。

解説

ApplyGuardrail APIは、モデルを呼び出すことなくガードレールの動作を直接テストできる専用のAPIです。テキストとソースタイプを渡すと、guardrailAssessmentオブジェクトが返され、どのポリシー(コンテンツフィルタ・トピック拒否・PIIマスキングなど)がどのアクション(BLOCKED・ANONYMIZEDなど)を実行したかを確認できます。これによりモデル呼び出しコストなしに大量のテストケースを実行でき、各ポリシーの動作を網羅的かつ自動化可能な形で検証できます。 選択肢AのBedrock Agentを経由したテストはモデル呼び出しコストが発生し、ガードレール評価の詳細よりもエージェント応答に焦点が当たるため、ポリシーごとの詳細な動作確認には非効率です。 選択肢Cの手動QAテストはスケールせず、コンプライアンス要件に必要な網羅性と再現性を担保できません。エッジケースの漏れが発生するリスクもあります。 選択肢DのBedrock Model EvaluationはモデルのアウトプットをROUGEなどで評価するツールであり、ガードレールのポリシー判定(ブロック・マスキングの動作)を評価する機能は持っていません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る