無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

あるSaaS企業がAmazon Bedrockを使ったドキュメント要約機能を本番運用しています。週に数件、モデルが指示と無関係な内容を生成したり要約に関係のない文章が出力に混入するという異常な応答が報告されています。問題の再現性が低くテスト環境では確認できないため、本番環境で問題が発生したリクエストを事後的に特定して原因を究明したいと考えています。最も効果的なアプローチはどれですか?

A
Amazon Bedrockのモデル呼び出しロギングをアカウントレベルで有効化し、全推論リクエストの入力プロンプトとモデル出力をS3とCloudWatch Logsに保存してから、Logs Insightsで異常な出力を含むリクエストを特定する
✓ 正解
Bedrockモデル呼び出しロギングはデータプレーンの入力プロンプト・出力テキスト・メタデータをS3とCloudWatch Logsに記録し、事後的にLogs Insightsで問題リクエストを検索・特定できるため、再現性が低い本番問題のトラブルシューティングに最も効果的なアプローチです。
B
Amazon CloudTrailでBedrock APIのコントロールプレーン操作を記録し、過去3日間にモデル設定やGuardrails設定の変更がなかったかを監査ログで確認して問題発生タイムラインと照合する
CloudTrailはコントロールプレーン操作(API呼び出し・設定変更)のログであり、個々の推論リクエストの入力プロンプトやモデル出力内容(データプレーン)は記録しません。異常な応答内容の調査目的では使用できません。
C
Amazon CloudWatch Alarmsを設定して出力トークン数が閾値を超えた推論にアラートを発行し、異常に長い出力を持つリクエストをリストアップしてその入力を手動でテスト環境に入力して再現を試みる
CloudWatch Alarmsによるトークン数の閾値監視は問題出力を直接捉えられるとは限らず、アラートが発火しても問題リクエストの入力プロンプトを事後確認する手段がないため、原因調査のための証跡として不完全です。
D
Bedrock Provisioned Throughputを購入して特定モデルバージョンに固定することでロールアウトの影響を排除し、固定後も同様の問題が継続するかを週単位のモニタリングレポートで追跡する
Provisioned Throughputはモデルバージョンを固定してスループットを確保する機能であり、特定の入力によって引き起こされる異常な応答の原因調査や問題リクエストの特定には直接寄与しません。原因が不明な段階での仮説に基づく対応です。

解説

Amazon Bedrockのモデル呼び出しロギング(Model Invocation Logging)は、InvokeModel / InvokeModelWithResponseStream APIのデータプレーンを記録する機能です。アカウントレベルで有効化すると、全推論リクエストの入力プロンプト・モデルの出力テキスト・トークン使用量・モデルIDなどがS3バケットおよびCloudWatch Logsに保存されます。これにより事後的にCloudWatch Logs Insightsで問題の発生したリクエストをクエリ検索し、無関係な内容が混入した出力を特定できます。また入力プロンプトも保存されているため、特定のユーザー入力がプロンプトインジェクションを引き起こしているかどうかも合わせて検証できます。 選択肢BのCloudTrailはBedrock APIのコントロールプレーン操作(モデル設定変更・ポリシー変更)を記録しますが、実際の推論リクエストの入力・出力内容(データプレーン)は記録しないため、異常な応答内容の調査には使えません。 選択肢CのCloudWatch Alarmsによるトークン数監視は出力が長すぎる場合のアラートは可能ですが、問題が必ずしも長い出力として現れるとは限らず、また問題リクエストの入力内容を保存・参照する手段が別途必要です。 選択肢DのProvisioned Throughputはモデルバージョンを固定してスループットを確保する機能であり、特定の入力内容によって引き起こされる異常応答の原因調査には寄与しません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る