AIF生成AIの基礎
あるSaaS企業がAmazon Bedrock上の基盤モデルを本番のチャット機能に組み込んでいます。ピーク時には毎秒数十リクエストが安定的に発生し、応答スループットを保証しつつ月額コストを事前に確定させたいと考えています。オンデマンド推論ではピーク時にスロットリングが頻発していました。この要件を満たす最も適切なBedrockの利用方法はどれですか。
Aオンデマンド推論を継続し、リトライとエクスポネンシャルバックオフを実装してスロットリングに対処する
従量課金のオンデマンドはスループットの保証がなく、リトライを実装しても根本的にキャパシティ不足によるスロットリングは解消されず、トークン量に応じて月額コストも変動するため予測確定の要件を満たせない。
Bプロビジョンドスループットでモデルユニットを購入し、確保した専有の推論キャパシティを利用する
✓ 正解
モデルユニットを購入して専有キャパシティを確保するため、ピーク時も保証されたスループットが得られスロットリングを回避でき、課金が確保量ベースのため月額コストを事前に確定できる。要件に合致する。
Cバッチ推論ジョブを使い、リクエストをまとめて非同期に処理することでスループットを確保する
バッチ推論は大量リクエストをまとめてオフラインで非同期処理する方式であり、即時応答が必要なリアルタイムのチャット機能には向かず、レイテンシ要件を満たせないため不適切。
DKnowledge Basesを構成して検索結果をキャッシュし、推論の呼び出し回数自体を削減する
Knowledge BasesはRAGで応答を増強する機能であり、検索結果のキャッシュで一部呼び出しは減っても、推論スループットの保証や月額コストの固定という要件には対応しない。
解説
プロビジョンドスループットは、指定したモデルに対してモデルユニット（専有の推論キャパシティ）を時間単位・月単位でコミットして購入する方式です。確保したスループットが保証されるためピーク時もスロットリングを避けられ、課金が確保キャパシティに基づくため月額コストを事前に確定できます。安定した高スループットとコスト予測性の両立という要件に最も合致します。
選択肢Aのオンデマンド推論は、トークン量に応じた従量課金でスループットの保証がなく、ピーク時のスロットリングもコスト変動も根本解決できない。
選択肢Cのバッチ推論は、大量データを非同期でまとめて処理するオフライン用途であり、リアルタイムのチャット応答には適さない。
選択肢DのKnowledge BasesはRAG用途の機能で、応答内容を増強するものの保証スループットやコスト固定を提供しない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →