ある医療系スタートアップが、Amazon Bedrock(Claude)を使った臨床要約システムを本番運用しています。3日前から一部のレスポンスが不完全になる問題が発生しており、オンコールエンジニアはプロンプト長の変更かモデルの挙動変化が原因と疑っています。問題発生前後の正確なプロンプト内容とレスポンス内容を比較して原因を特定したいと考えています。この問題を診断するための最も効果的な最初のステップはどれですか。
Amazon Bedrock Model Invocation Loggingを有効にすると、すべての推論呼び出しのフルペイロード(入力プロンプト全文・推論パラメータ・出力レスポンス全文・トークン数・タイムスタンプ)をAmazon S3に自動記録できる。Amazon Athenaを使ってこれらのログをSQLでクエリすることで、問題発生前後の3日間のリクエスト内容とレスポンス内容を詳細に比較し、プロンプト変更・パラメータ変化・出力劣化の具体的なパターンを特定できる。生成AI本番システムのトラブルシューティングにおいて最初に確認すべき標準的なアプローチである。 選択肢BのAWS X-Rayはレイテンシとエラー率の分散トレースには有用だが、プロンプトとレスポンスのフルテキスト内容は記録されないため、応答内容の変化を診断できない。 選択肢CのCloudWatchカスタムメトリクスはトークン数の傾向把握には役立つが、実際のプロンプト・レスポンスの内容そのものを比較する手段がない。 選択肢Dの並行テスト環境の構築は、既存ログによる根本原因特定より前に実施するべきではなく、過去の本番問題パターンを完全に再現できるとも限らない。