AIP生成AIアプリケーションの運用効率と最適化
カスタマーサポートチャットボットを開発しているチームが、Claude 3.5 Sonnet を Amazon Bedrock で使用しています。システムプロンプトには社内規定・製品カタログ・FAQ を含む 15,000 トークンが含まれており、マルチターン会話の各ターンでこのシステムプロンプト全体が送信されます。月間 API 費用が過大になっており、実装変更を最小限に抑えながらコストを削減する最も効果的な方法はどれですか？
Aシステムプロンプトを 1,000 トークン以下に圧縮し、不足する詳細情報は Bedrock Knowledge Bases の RAG（Retrieval-Augmented Generation：検索拡張生成）で補完するアーキテクチャに変更する
RAGアーキテクチャへの移行は技術的に有効ですが、システム全体の再設計が必要となり「最小限の実装変更」という要件を満たしません。プロンプト圧縮による削減効果も限定的です。
BAmazon Bedrock Prompt Caching を有効化し、システムプロンプトの末尾に cache_point ブロックを追加してリクエスト間でプレフィックスをキャッシュする
✓ 正解
Bedrock Prompt Cachingは大きなシステムプロンプトを初回キャッシュし、以降の呼び出しで再利用することで、キャッシュ読み取り料金（通常の最大90%削減）でコスト削減が実現できます。実装は最小限です。
CAmazon ElastiCache でモデルのレスポンスをキャッシュし、同一の質問への再回答時には Bedrock を呼び出さずキャッシュから返す
ElastiCacheによるレスポンスキャッシュは、全く同一の質問にのみ有効です。新規の質問や文脈が異なる質問には効果がなく、会話型アプリケーションでは実用性が限定的です。
Dマルチターン会話の各ターンでは直前の 1 ターン分の会話履歴のみをシステムプロンプトとともに送信し、古い履歴を省略してトークン数を削減する
直前1ターンのみの会話履歴で部分的なトークン削減が可能ですが、毎回送信される15,000トークンのシステムプロンプトというコストの主要因に対処できず、根本的解決にはなりません。
解説
Bedrock Prompt Cachingは、大きなシステムプロンプトを最初の呼び出し時にキャッシュし、後続の呼び出しではキャッシュされたプレフィックスを再利用することでコストを大幅削減します。キャッシュ読み取りコストは通常の入力トークンコストより最大90%安く、実装はcache_pointブロックの追加のみで既存コードへの影響が最小限です。
選択肢AのRAGアーキテクチャへの変更は技術的に有効ですが、システム全体の大規模な再設計が必要であり「実装変更を最小限に抑える」という要件を満たしません。
選択肢CのElastiCacheによるレスポンスキャッシュは全く同一の質問にのみ有効で、新規・文脈の異なる質問には効果がありません。
選択肢Dの直前1ターンのみの会話履歴送信は会話履歴部分のトークン削減に一定の効果はありますが、毎ターン必ず送信される15,000トークンのシステムプロンプトというコストの主因に対処できないため根本的な解決になりません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →