解説

Anthropicのプロンプトキャッシングは、モデルの内部KVキャッシュ（Key-Valueキャッシュ）にプロンプトプレフィックスを保存する機能です。 Amazon Bedrockを通じてClaude 3モデルで利用可能で、キャッシュヒット時はプレフィックス部分の処理をスキップするため、TTFTが大幅に短縮されます。 料金面でもキャッシュヒット時はプレフィックストークンのコストが通常の約90%削減されます。8,000トークンのシステムプロンプトが固定の場合、ほぼすべてのリクエストでキャッシュが活用でき、コストとレイテンシの両方を同時に改善できます。 選択肢AのS3によるプロンプト取得はストレージコスト削減には寄与しますが、毎回のAPIリクエストに8,000トークンを送信する点は変わらず、TTFTもコストも改善されません。 選択肢CのElastiCacheによる応答キャッシュは完全に同一のユーザー入力に対してのみ有効で、わずかに異なる質問には機能しないため、カスタマーサポートのような多様な問い合わせには適用範囲が限られます。 選択肢Dのテキスト要約によるプロンプト圧縮は情報損失のリスクがあり、サポート品質の低下を招く可能性があります。また、圧縮後も毎回のAPIリクエストにプロンプトを送信するため、キャッシングほどの効果はありません。