ある小売企業が Amazon Bedrock を使った顧客向けチャットボットを本番環境にデプロイしました。大型セール期間中にリクエストが集中するため、安定したスループットと予測可能なレイテンシーを確保したいと考えています。担当アーキテクトはどの機能を使用すべきですか?
Amazon Bedrock のプロビジョンドスループット(Provisioned Throughput)は、指定したモデルユニット数を予約することで、スロットリングなしの安定したスループットと低レイテンシーを保証します。コミットなし・1 ヶ月・6 ヶ月の 3 種類の購入形態があり、コミット期間が長いほどコスト効率が高くなります。大型セールのような高負荷期間でも予測可能なパフォーマンスを維持できます。 選択肢 A の Amazon Bedrock オンデマンドモードは従量課金で柔軟ですが、高負荷時にスロットリングが発生する可能性があり、本番 SLA を安定して満たせないリスクがあります。 選択肢 C の AWS Auto Scaling は EC2 や ECS などのキャパシティをスケールするサービスであり、マネージドサービスである Amazon Bedrock には直接適用できません。 選択肢 D の Amazon SageMaker リアルタイム推論エンドポイントへの基盤モデルのデプロイは、Bedrock とは別に基盤モデルを独自管理する手法であり、インフラの運用オーバーヘッドが増加します。