無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

ある医療系スタートアップが、Amazon Bedrock(Claude)を使った臨床要約システムを本番運用しています。3日前から一部のレスポンスが不完全になる問題が発生しており、オンコールエンジニアはプロンプト長の変更かモデルの挙動変化が原因と疑っています。問題発生前後の正確なプロンプト内容とレスポンス内容を比較して原因を特定したいと考えています。この問題を診断するための最も効果的な最初のステップはどれですか。

A
Amazon Bedrock Model Invocation Loggingを有効化し、全推論リクエストのペイロードをS3に記録してAthenaで問題発生前後のプロンプト・レスポンス・パラメータの差異をクエリして比較する
✓ 正解
Model Invocation Loggingは入力プロンプト全文・推論パラメータ・出力レスポンス・トークン数をS3に記録する機能で、Athenaと組み合わせることで問題発生前後の全リクエストを詳細に比較分析できる。生成AIシステムのトラブルシューティングに最も直接的かつ効率的な手法である。
B
API GatewayとLambdaにAWS X-Rayトレーシングを設定し、不完全なレスポンスが発生しているAPI呼び出しの分散トレースを取得してレイテンシとエラーレートの変化を特定する
X-Rayはマイクロサービスのレイテンシ・エラーの分散トレースに優れるが、BedrockへのAPIリクエストの入力プロンプトとレスポンスのフルテキストは記録されないため、応答内容の劣化原因を特定できない。
C
CloudWatchカスタムメトリクスでレスポンストークン数を継続的に記録するダッシュボードを作成し、問題発生を含む過去3日間の出力長の変化傾向を時系列グラフで可視化する
CloudWatchカスタムメトリクスでトークン数の傾向は把握できるが、「どのプロンプトで」「何が欠落したレスポンスが返ってきたか」という具体的な内容分析はできず、根本原因の特定には不十分である。
D
問題発生前のシステムプロンプトを使った並行テスト環境を別途構築し、本番と同一の患者データを両環境に投入して出力内容を詳細に照合・比較する
並行テスト環境の構築は開発工数がかかるうえ、過去3日間の本番での実際の問題パターンを正確に再現できるとは限らない。まず既存のログデータから原因を特定するアプローチが優先される。

解説

Amazon Bedrock Model Invocation Loggingを有効にすると、すべての推論呼び出しのフルペイロード(入力プロンプト全文・推論パラメータ・出力レスポンス全文・トークン数・タイムスタンプ)をAmazon S3に自動記録できる。Amazon Athenaを使ってこれらのログをSQLでクエリすることで、問題発生前後の3日間のリクエスト内容とレスポンス内容を詳細に比較し、プロンプト変更・パラメータ変化・出力劣化の具体的なパターンを特定できる。生成AI本番システムのトラブルシューティングにおいて最初に確認すべき標準的なアプローチである。 選択肢BのAWS X-Rayはレイテンシとエラー率の分散トレースには有用だが、プロンプトとレスポンスのフルテキスト内容は記録されないため、応答内容の変化を診断できない。 選択肢CのCloudWatchカスタムメトリクスはトークン数の傾向把握には役立つが、実際のプロンプト・レスポンスの内容そのものを比較する手段がない。 選択肢Dの並行テスト環境の構築は、既存ログによる根本原因特定より前に実施するべきではなく、過去の本番問題パターンを完全に再現できるとも限らない。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る