AIP生成AIアプリケーションの運用効率と最適化
大企業がAmazon Bedrockを使用した生成AIアプリケーションを本番稼働させています。コンプライアンス部門と財務部門から以下の要件が出されました。
①規制対応のため、すべてのモデルへの入力プロンプトと出力レスポンスを完全にログとして保存すること。
②SRE（Site Reliability Engineering：サイト信頼性エンジニアリング）チームがリクエストごとのレイテンシとトークン使用量をリアルタイムで監視できること。
③事業部門（BU: Business Unit）ごとにAIコストを配賦・集計できること。
これらすべての要件を最もAWSネイティブな方法で満たすソリューションはどれですか？
AAWS CloudTrailを有効化する。CloudTrailはすべてのBedrock APIコールの入力プロンプトと出力レスポンスを自動的に記録するため、追加設定は不要である
CloudTrailは、APIコールのメタデータ（誰がいつ呼んだか）は記録しますが、プロンプト内容は記録しません。
BBedrock Model Invocation LoggingをCloudWatch LogsとS3に設定し、CloudWatch Metricsでトークン数とレイテンシを監視し、AWS Cost Allocation Tagsで事業部門別にコストを集計する
✓ 正解
Bedrock Model Invocation LoggingはBedrockコンソールまたはAPIから有効化でき、すべてのモデル入出力をCloudWatch LogsまたはS3に出力する規制対応向け機能です。CloudWatch MetricsのBedrockネームスペースにはトークン数・レイテンシが標準で提供されます。
CAWS X-RayをLambda関数にのみ設定すれば、Bedrockモデルへのプロンプトとレスポンスおよびすべてのトークンメトリクスが自動的に収集・トレースされる
AWS X-Rayは、Bedrockのプロンプト内容を自動収集しません。
DLambda関数内でBedrock呼び出しの前後に手動でプロンプトとレスポンスをログに書き込み、Amazon DynamoDBに全リクエストを保存してAthenaでコスト集計クエリを実行する
手動ログは、実装・運用コストが高くスケーラビリティに問題が生じます。
解説
Bedrock Model Invocation LoggingはBedrockコンソールまたはAPIから有効化でき、すべてのモデル入出力をCloudWatch LogsまたはS3に出力する規制対応向け機能です。CloudWatch MetricsのBedrockネームスペースにはトークン数・レイテンシが標準で提供されます。
選択肢AのCloudTrailは、APIコールのメタデータ（誰がいつ呼んだか）は記録しますが、プロンプト内容は記録しません。
選択肢CのAWS X-Rayは、Bedrockのプロンプト内容を自動収集しません。
選択肢Dの手動ログは、実装・運用コストが高くスケーラビリティに問題が生じます。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →