AIP生成AIアプリケーションの運用効率と最適化複数選択
製造業の企業がAmazon Bedrock(Claude 3 Haiku)を使用した設備保全チャットボットを本番運用しています。
現状:
・平日稼働時間(7:00-19:00): 安定して800リクエスト/分
・夜間・週末: 30リクエスト/分
・ピーク時にThrottlingExceptionが発生し、現場作業員の業務に影響
また、夜間に非リアルタイムの障害レポート自動生成(毎日50,000件のセンサーログ要約)も必要です。
コストとパフォーマンスを最適化するために実施すべきアクションはどれですか?(2つ選択)
Aチャットボットのピーク需要に対応するMTU(Model Throughput Unit:プロビジョンドスループットの購入単位)数のProvisioned Throughputを購入し、ThrottlingExceptionを根本解決する
✓ 正解
予測可能で安定したピークトラフィックのリアルタイムチャットボットには、Provisioned Throughput(MTU単位で1ヶ月または6ヶ月コミット)が最適で、ThrottlingExceptionを根本解決できます。
Bチャットボットと障害レポート生成の両方にProvisioned Throughputを購入し、すべてのトラフィックを処理する
誤りです。チャットボットと障害レポート生成の両方にProvisioned Throughputを購入するのは過剰投資です。
C障害レポート生成にはAmazon Bedrockバッチ推論(Batch Inference)を使用し、オンデマンドより最大50%コスト効率よく大量処理する
✓ 正解
非リアルタイムの大量センサーログ要約にはBatch Inferenceが適しており、オンデマンドより最大50%のコスト削減が可能です。
DLambda関数に指数バックオフとジッタ(Jitter:リトライ間隔のランダム分散)付きリトライロジックを実装してThrottlingExceptionをすべて吸収する
誤りです。リトライロジックはスロットリングの根本解決になりません。
EAmazon SageMaker Real-time Endpointにモデルをデプロイし、Auto Scalingでピークに対応する
誤りです。SageMakerへの移行はBedrockのマネージド利点が失われます。
解説
予測可能で安定したピークトラフィックのリアルタイムチャットボットには、Provisioned Throughput(MTU単位で1ヶ月または6ヶ月コミット)が最適で、ThrottlingExceptionを根本解決できます。
非リアルタイムの大量センサーログ要約にはBatch Inferenceが適しており、オンデマンドより最大50%のコスト削減が可能です。
選択肢Bは誤りです。チャットボットと障害レポート生成の両方にProvisioned Throughputを購入するのは過剰投資です。夜間の非リアルタイム処理にはBatch Inferenceの方がコスト効率が高いです。
選択肢Dは誤りです。リトライロジックはスロットリングの根本解決になりません。ピーク需要への対処には容量の確保が必要です。
選択肢Eは誤りです。SageMakerへの移行はBedrockのマネージドサービスとしての利点が失われ、モデル管理や運用コストが増大します。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →