無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

金融機関が Amazon Bedrock Guardrails を使った投資情報チャットボットを開発しています。Guardrails には特定の投資商品推薦を禁止するトピックフィルター、口座番号・残高などの PII マスキング、有害コンテンツのブロックが設定されています。本番リリース前に、基盤モデルへの課金を発生させずに Guardrails の設定が正しく機能するかを自動テストスイートで網羅的に検証したいと考えています。最も適切なアプローチはどれですか?

A
Bedrock Guardrails の ApplyGuardrail API を使用して、モデルを呼び出さずにテストテキストを直接 Guardrails に入力し、トピックフィルター・PIIマスキング・コンテンツブロックそれぞれの動作を自動テストスイートで独立して検証する
✓ 正解
ApplyGuardrail API はモデルを呼び出さずに Guardrails のみを直接テストできる専用 API。モデル課金なしで各フィルターの動作を独立検証でき、自動テストスイートへの組み込みも容易。本番リリース前の網羅的・自動化された検証に最も適したアプローチ。
B
Bedrock Playground でテストケースを1件ずつ手動実行し、Guardrails が期待通り(通過/ブロック)に動作するかをスプレッドシートに記録してセキュリティチームにレビューを依頼する
Bedrock Playground は手動での1件ずつ実行に限定されるため網羅的な自動テストには不適。モデルも同時に呼び出されるため課金が発生し、「モデル課金なしで検証したい」という要件を直接満たせない。
C
Guardrails を有効化した本番構成で1週間のベータテストを実施し、CloudWatch Logs の Guardrails 介入ログを集計して誤検知率・漏れ率を評価してから本番リリースの可否を判断する
1週間のベータテストは実ユーザーを Guardrails の不備にさらすリスクがあり、金融機関の規制要件やコンプライアンス上の問題を引き起こす可能性がある。本番前の機能検証フェーズでリアルユーザーを使用することは適切ではない。
D
AWS Config カスタムルールで Guardrails リソースの設定値(トピックリスト・PIIタイプ)が設計仕様書と一致するかを自動チェックし、設定ドリフトを検出した際に Systems Manager Automation で自動修復する
AWS Config は設定値のコンプライアンス(トピックリストの設定値が仕様と一致するか等)を検証できるが、実際のテキスト入力に対して Guardrails が期待通りに動作するかという機能テストは実行できない。設定の存在確認と動作の正確さは別の検証軸である。

解説

ApplyGuardrail API は、基盤モデルへの推論呼び出しを行わずに任意のテキストを直接 Guardrails に適用できる独立した API エンドポイントです。これにより、モデル呼び出しコストをゼロに抑えながら、各フィルター(トピック拒否・PIIマスキング・コンテンツフィルタ)の動作を独立してテストできます。自動テストスイートに組み込むことで CI/CD パイプラインでの継続的な検証も可能です。 選択肢BのBedrock Playground は手動で1件ずつ実行するツールであり、系統的・自動化された網羅的なテストには不向き。また Playground ではモデルも同時に呼び出されるため「課金なし」の要件を満たせない。 選択肢Cのベータテストは実際のユーザーに Guardrails の不備を露出させるリスクがあり、特に金融機関では規制コンプライアンス上の問題となりうる。本番リリース前の機能検証として許容できないリスクを持つ。 選択肢DのAWS Config はリソースの設定値が仕様と一致するかのコンプライアンスチェックには有効だが、実際の入力テキストに対して Guardrails が期待通りに動作するかという機能テストは実行できない。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る