AIP生成AIアプリケーションの運用効率と最適化
あるカスタマーサポート企業が Amazon Bedrock の Claude を使ったチャットアシスタントを運用しています。全リクエストの先頭には約4,000トークンの共通システムプロンプト（製品マニュアルの抜粋・応対ポリシー）が固定で付与され、その後にユーザー固有の短い質問が続きます。同一の長いプレフィックスが毎回送られるため入力トークン課金とレイテンシーが増大しています。出力品質を変えずにコストとレイテンシーを削減する最適な方法はどれですか。
AConverse API でプロンプトキャッシングを有効化し、共通プレフィックス部分にキャッシュポイントを設定して再利用する
✓ 正解
プロンプトキャッシングは繰り返される共通プレフィックスにキャッシュポイントを設定し、サーバー側で処理結果を再利用します。キャッシュヒット部分は割引かつ再計算が省かれレイテンシーも短縮され、出力内容は変わらないため、固定の4,000トークンが毎回付く本ケースに最適です。
B共通システムプロンプトを Bedrock Knowledge Bases に取り込み、毎回 RAG で関連箇所のみを取得して付与する
Knowledge Bases による RAG は本来全文が必要な共通ポリシーを関連箇所のみの取得に変えてしまうため、付与される情報が変化し出力品質が変わる恐れがあります。「品質を変えずに」という要件に反するため不適切です。
C共通システムプロンプトを Prompt Management に登録し、バージョン管理されたプロンプトを毎回呼び出す
Prompt Management はプロンプトの保存・バージョン管理・再利用を支援する機能で、実際にモデルへ送信される入力トークン数は変わりません。したがって入力トークン課金もレイテンシーも削減されず、本要件を満たしません。
Dプロビジョンドスループットを購入し、共通プレフィックスを含むリクエストを専有モデルユニットで処理する
プロビジョンドスループットはモデルユニットを確保してスループットを安定させますが、共通プレフィックス分の入力トークン課金は引き続き発生し、固定費も増えます。コストとレイテンシーの削減という要件に逆行するため不適切です。
解説
Amazon Bedrock のプロンプトキャッシングは、リクエスト間で繰り返される長い共通プレフィックス（システムプロンプトや固定コンテキスト）にキャッシュポイントを設定し、サーバー側でその部分の処理結果を再利用する機能です。キャッシュヒット時はキャッシュ対象トークンが割引価格となり、再計算が省かれるためレイテンシーも短縮されます。共通4,000トークンが毎回先頭に来る本シナリオはプロンプトキャッシングの典型的な適用ケースで、出力内容自体は変わりません。
選択肢Bの Knowledge Bases による RAG は、毎回固定で全文必要な共通ポリシーを部分取得に変えてしまうと出力品質が変化する恐れがあり、要件の「品質を変えずに」に反します。
選択肢Cの Prompt Management はプロンプトの保存・バージョン管理・再利用を行う仕組みで、送信されるトークン数自体は減らないため課金・レイテンシーは改善しません。
選択肢Dのプロビジョンドスループットはスループットを確保しますが、共通プレフィックスのトークン課金は依然発生し、固定費が増えるためコスト削減という要件に反します。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →