無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

グローバル金融機関がAmazon Bedrock Guardrailsを設定して、AIアシスタントの出力に以下の3種類のポリシーを実装しました。 ・「投資アドバイスの拒否」 ・「PIIマスキング」 ・「競合他社名のブロック」 本番デプロイ前に品質保証チームが既存の応答サンプル1,000件に対して各ポリシーが意図通りに機能するかテストしたいと考えています。モデル推論コストを最小化しつつGuardrailsの動作のみを効率的に検証する方法として最も適切なものはどれですか?

A
Bedrock PlaygroundのGuardrailsテストパネルにサンプルを1件ずつペーストしてポリシーの動作を目視確認し、問題のある設定を手動で調整しながら1,000件を順番に検証する
Bedrock PlaygroundはインタラクティブなUIで個別サンプルのテストに使えますが、1,000件を効率的に処理する機能はなく、手動作業でコストと時間が大幅にかかるため品質保証プロセスとして不適切です。
B
`ApplyGuardrail` APIを使用してGuardrailをモデル推論から切り離して独立呼び出しし、1,000件の応答サンプルをバッチ処理して各ポリシーのアクション(BLOCKED・ANONYMIZEDなど)と検出理由をプログラムで収集・集計する
✓ 正解
ApplyGuardrail APIはモデル推論を一切実行せずにGuardrailsポリシーのみをスタンドアロンでテストできるため、1,000件の応答サンプルをバッチ処理してBLOCKED・ANONYMIZED等のアクションと検出理由をコスト最小限で収集・集計できます。
C
本番と同じモデル・プロンプト構成でステージング環境を構築し、トラフィックの10%に新しいGuardrails設定を適用するカナリアデプロイで既存サンプルをリプレイしながら動作効果を測定する
カナリアデプロイは実際のモデル推論コストが全件発生し、検証中のGuardrails設定に誤りがあった場合に一部ユーザーへの悪影響を防げません。コスト最小化とリスク回避の両要件を満たしません。
D
AWS Lambda関数内でチャットボット全体のエンドツーエンドフローを再現し、テスト用プロンプトでモデルを呼び出してGuardrailsが適用された状態の出力を1,000件分収集・分析する
LambdaによるE2Eフロー再現はすべてのサンプルに対してモデル推論が発生するため、モデルコストを最小化するという要件に反します。Guardrailsのみをテストする目的に対して不要な推論コストが加わります。

解説

Amazon Bedrock Guardrailsの `ApplyGuardrail` APIは、モデル推論を一切伴わずにGuardrailsポリシーだけを独立して評価できる専用エンドポイントです。リクエストにテキスト(既存の応答サンプル)・Guardrail ID・バージョン・ソース種別(INPUT/OUTPUT)を渡すと、各ポリシーの判定結果と実行されたアクション(BLOCKED・ANONYMIZEDなど)および検出理由が返されます。 ・モデル呼び出しコストが発生しないためコスト最小化の要件を満たす ・1,000件をループ処理してアクションと検出理由をプログラムで集計できる ・フォールスポジティブ(正当な応答がブロックされるケース)とフォールスネガティブ(問題ある応答がすり抜けるケース)を定量的に評価できる 選択肢AのBedrock Playgroundは単体テストには使えますが、1,000件を効率的に処理する手段がなくコスト・時間面で非現実的です。 選択肢Cのカナリアデプロイは全件のモデル推論コストが発生し、また検証中のGuardrails設定が誤動作した場合に一部の本番ユーザーに悪影響が及ぶリスクがあります。 選択肢DのLambdaによるエンドツーエンドフロー再現はすべてのサンプルに対してモデル推論が実行されるため、推論コストを最小化するという要件に反します。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る