無限ノック › AIP 練習問題一覧 › 問題AIP 生成AIアプリケーションの運用効率と最適化
ある企業が Amazon Bedrock の Claude を本番のリアルタイム API として運用しており、SRE チームが「モデル呼び出しごとの入出力トークン数・レイテンシー・スロットリング発生・エラー率」を継続的に可視化したいと要望しています。加えて、品質調査のために実際のプロンプト本文とモデル応答本文も後から参照したいが、これらは機密のため厳格なアクセス制御下に保管する必要があります。最小の実装で両方の要件を満たす構成はどれですか。
A CloudWatch のモデル呼び出しメトリクスでトークン数・レイテンシー・エラーを監視し、Bedrock のモデル呼び出しログ記録を有効化して入出力本文を S3 に出力する
✓ 正解
Bedrock は CloudWatch にトークン数・レイテンシー・エラー等のメトリクスを自動発行し運用監視を満たせます。さらにモデル呼び出しログ記録を有効化すれば入出力本文を S3 に出力でき、KMS 暗号化と IAM/バケットポリシーで厳格に保護できるため、両要件を最小実装で満たせます。
B CloudTrail の管理イベントで InvokeModel の呼び出しを記録し、イベント内のトークン数とプロンプト本文をまとめて確認する
CloudTrail は誰がいつ InvokeModel を呼んだかという管理イベントを記録しますが、プロンプト本文・応答本文・トークン数といった呼び出しの中身は記録しません。品質調査やトークン監視には使えないため要件を満たせません。
C X-Ray のトレースに各 InvokeModel 呼び出しのプロンプト本文と応答本文をアノテーションとして埋め込み一元的に分析する
X-Ray はレイテンシーの分散トレースには有用ですが、機密のプロンプト本文や応答本文をトレースのアノテーションに埋め込むのはアクセス制御・保管の観点で不適切であり、本文を安全に保管する標準的な手段でもありません。
D Lambda のラッパー関数内で自前にトークン数を計測してメトリクスを publish し、プロンプトと応答を DynamoDB に保存する
Lambda ラッパーで自前にトークン計測しメトリクスを publish し本文を DynamoDB に保存する方式は実現可能ですが、Bedrock が標準で提供するメトリクスとモデル呼び出しログ記録を再実装することになり、「最小の実装」という要件に反します。
解説 Amazon Bedrock は CloudWatch に InputTokenCount・OutputTokenCount・InvocationLatency・呼び出し回数・スロットリング/エラーなどのメトリクスを自動発行し、メトリクス監視・アラーム設定で運用要件を満たせます。一方、プロンプト本文と応答本文といった呼び出しデータは、Bedrock のモデル呼び出しログ記録（model invocation logging）を有効化することで CloudWatch Logs または S3 に出力でき、S3 側で KMS 暗号化やバケットポリシー・IAM による厳格なアクセス制御を適用できます。両機能ともマネージドで、最小実装で要件を満たします。
選択肢Bの CloudTrail はAPI 呼び出しの管理イベント（誰がいつ呼んだか）を記録しますが、プロンプト本文や応答本文・トークン数は記録しないため品質調査に使えません。
選択肢Cの X-Ray はレイテンシーの分散トレースには有用ですが、機密のプロンプト本文をアノテーションに埋め込むのは適切な保管・アクセス制御の観点で不適切で、本文保管の標準機能でもありません。
選択肢Dの自前 Lambda 計測は実現可能でも、Bedrock が標準提供するメトリクスとログ機能を再実装することになり「最小の実装」という要件に反します。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →