無限ノック › AIP 練習問題一覧 › 問題
AIPテスト、検証、トラブルシューティング

ある小売企業がAmazon Bedrock Agentsを使った在庫補充自動化システムをテスト中です。エージェントは「在庫レベル確認→発注量計算→発注実行」という3段階のワークフローを処理しますが、テスト環境で約20%のリクエストで誤った発注量が実行されています。問題がどのオーケストレーションステップで発生しているかを特定するために最も直接的かつ効果的なデバッグ手法はどれですか?

A
エージェントが使用するLambdaアクショングループにAWS X-Rayトレーシングを有効化し、各Lambda実行の入出力ペイロードとレイテンシをサービスマップで可視化して、誤った発注量が発生するリクエストの異常パターンを特定する
AWS X-RayはLambdaアクショングループの実行時間やエラー率を可視化しますが、Bedrockエージェントのオーケストレーション層の思考プロセス・アクション選択理由・ステップ間のデータフローは計測対象外であり、誤ったビジネスロジックの根本原因特定には不十分です。
B
InvokeAgent API呼び出し時に `enableTrace: true` パラメータを設定し、各オーケストレーションサイクルでの思考ステップ・アクション選択・Lambda呼び出し結果・最終回答の生成過程を含む詳細なトレースデータを取得して分析する
✓ 正解
enableTrace: true を設定するとOrchestrationTraceが付与され、各サイクルの推論内容・選択されたアクション・Lambdaの呼び出しパラメータと戻り値・次ステップへの入力をすべて時系列で確認でき、誤った発注量が生じたステップを正確に特定できます。
C
Amazon CloudWatch Logs Insightsでエージェントのロググループにクエリを実行し、ERRORレベルのエントリと異常な実行時間を持つリクエストを抽出して、どのオーケストレーションフェーズで問題が起きているかを確認する
CloudWatch Logs Insightsはエラーレベルのログ検索には有効ですが、今回の問題は例外を伴わない誤ったロジック実行(正常完了しているが結果が間違っている)であるため、ログレベルフィルタリングでは問題リクエストを特定できません。
D
Bedrockのモデル呼び出しロギングをアカウントレベルで有効化してLLMへの入力プロンプトと出力テキストをS3に保存し、誤った発注が発生したリクエストの入力プロンプトをオフラインで確認して問題のあるステップを特定する
Bedrockモデル呼び出しロギングは個々のLLM呼び出しのプロンプトと応答テキストを記録しますが、エージェントの複数オーケストレーションサイクルにまたがるトレースを構造的に追跡する機能はなく、複数ステップ間の因果関係の把握には適していません。

解説

Amazon Bedrock Agentsの `enableTrace: true` オプションは、エージェントのマルチステップ推論プロセスをサイクルごとに可視化する専用のデバッグ機能です。InvokeAgentレスポンスの `trace` フィールドには以下の情報が含まれます。 ・PreProcessingTrace(入力の前処理・分類判断) ・OrchestrationTrace(推論内容・アクション選択理由・Lambda呼び出しパラメータとその戻り値) ・PostProcessingTrace(最終応答の生成過程) これにより「どのステップでどのアクションが選ばれ、Lambdaからどんな値が返され、次の推論に何が渡されたか」を時系列で追跡でき、誤った発注量が生まれた原因ステップを正確に特定できます。 選択肢AのAWS X-Rayは各Lambda関数の実行パフォーマンスを計測しますが、エージェントのオーケストレーション層の思考プロセスやアクション間のデータ受け渡しまでは把握できません。 選択肢CのCloudWatch Logs InsightsはERRORログ検出には有効ですが、エラーを伴わない誤ったビジネスロジック(正常実行しているが値が間違っている場合)は検出できません。 選択肢DのBedrockモデル呼び出しロギングは個々のLLM呼び出しのプロンプトと出力を記録しますが、エージェントの複数サイクルにわたる構造化トレースとしては提供されないため、多段階の因果関係追跡には適していません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る