AIP生成AIアプリケーションの運用効率と最適化

グローバルなeコマースプラットフォームがAmazon Bedrockをus-east-1リージョンで稼働させています。ブラックフライデーなどの大規模セール期間中、Provisioned Throughputを購入しているにもかかわらず追加のThrottlingExceptionが発生し、レイテンシSLAを満たせない状況が生じています。インフラ管理の複雑さを最小限に抑えながら、自動的に追加キャパシティを確保する最適なアプローチはどれですか?

A
us-west-2に別のAWSアカウントを作成し、Amazon Route 53のレイテンシベースルーティングで手動でトラフィックを分散する
(Route 53のレイテンシベースルーティング)は手動でトラフィックを分散する必要があり、自動的なキャパシティルーティングには対応していません。
B
Amazon BedrockのクロスリージョンAmazon推論プロファイルを使用し、複数リージョン間で自動的にキャパシティをルーティングする
✓ 正解
BedrockのクロスリージョンAmazon推論プロファイル(system-defined inference profile)は、プライマリリージョンがキャパシティ上限に達した際に自動的に他リージョン(例:us-east-1→us-west-2→eu-west-1)へリクエストをルーティングします。アプリケーション側の変更はモデルIDをプロファイルARNに変更するだけです。
C
Amazon SQSキューにリクエストをバッファリングし、Bedrockのキャパシティが空いたタイミングで順次処理してスロットリングを回避する
(SQSキューでバッファリング)はレイテンシSLAに違反します。
D
us-east-1のProvisioned Throughputユニット数をピーク推定値の3倍に増やして常時確保し、スロットリングを防止する
(Provisioned Throughputの過剰調達)はコスト非効率です。

解説

BedrockのクロスリージョンAmazon推論プロファイル(system-defined inference profile)は、プライマリリージョンがキャパシティ上限に達した際に自動的に他リージョン(例:us-east-1→us-west-2→eu-west-1)へリクエストをルーティングします。アプリケーション側の変更はモデルIDをプロファイルARNに変更するだけです。 選択肢A(Route 53のレイテンシベースルーティング)は手動でトラフィックを分散する必要があり、自動的なキャパシティルーティングには対応していません。 選択肢C(SQSキューでバッファリング)はレイテンシSLAに違反します。 選択肢D(Provisioned Throughputの過剰調達)はコスト非効率です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIP の問題一覧に戻る