法律テクノロジー企業がAmazon BedrockのAnthropic Claude 3.5 Sonnetを使用した契約書分析サービスを運用しています。各APIリクエストのmessagesには50,000トークンの法律参照コーパスが含まれており、1日50,000リクエストを処理しています。コーパスは週1回しか更新されず、入力トークンコストが月間数百万円規模に達しています。レスポンス品質を維持しながら最もコストを削減できる実装変更はどれですか?
プロンプトキャッシングは同一プレフィックス(コーパス等)を持つ連続リクエストでキャッシュヒット時に入力トークンコストを約90%削減できます。cache_control を type: 'ephemeral' で付与すると TTL 5分のキャッシュが生成され、1日50,000リクエストの環境ではキャッシュヒット率が極めて高くなります。 選択肢A の抽出的要約(Extractive Summarization)は、参照コーパスを圧縮しますが、情報密度向上のための圧縮であり、プロンプトキャッシングほどのコスト削減効果は期待できません。 選択肢B の Amazon Bedrock Knowledge Bases は、RAG でコスト削減効果はありますが、コーパス全体の文脈が失われ分析精度が低下する可能性があります。 選択肢D の Bedrock Prompt Management は、プロンプトのバージョン管理・再利用機能であり、API コール時のトークン消費を削減する仕組みではありません。