スタートアップが Amazon Bedrock の Converse API を使用してマルチターンの会話 AI チャットボットを構築しています。現在はモデルが完全な応答を生成するまで待ってから一度にレスポンスを返してお

Question

スタートアップが Amazon Bedrock の Converse API を使用してマルチターンの会話 AI チャットボットを構築しています。現在はモデルが完全な応答を生成するまで待ってから一度にレスポンスを返しており、ユーザーから「応答が遅い」という不満が出ています。また、エラーレート監視のため各 API 呼び出しのトークン使用量・レイテンシー・エラーコードの記録が新たに求められました。アプリケーションコードの変更を最小限に抑えながら、この2つの要件を同時に満たす方法を2つ選んでください。

Accepted Answer

正解: Converse API の代わりに ConverseStream API を使用してストリーミングレスポンスを有効化し、生成されたトークンをクライアントに逐次送信して体感レイテンシーを改善する / Amazon Bedrock のモデル呼び出しログ機能を有効化して CloudWatch Logs に出力し、トークン使用量・レイテンシー・エラー情報をコード変更なしで自動記録する。ConverseStream API は Converse API のストリーミング版であり、モデルが生成したトークンをリアルタイムで逐次クライアントに送信します。完全な応答を待たずに最初のトークンから表示できるため体感レイテンシーを大幅に改善でき、既存の Converse API からの移行も最小限のコード変更で済みます。

Bedrock のモデル呼び出しログ機能を有効化すると、すべての API 呼び出しの入出力トークン数・推論レイテンシー・エラーコード・モデル ID が CloudWatch Logs に自動出力されます。アプリケーションコードへの計測ロジック追加なしにモニタリング要件を満たせます。

選択肢Bの CloudFront キャッシングは、チャット応答のように毎回内容が異なるレスポンスにはキャッシュが機能しません。また Bedrock のプライベートエンドポイントは CloudFront との直接統合に適していません。
選択肢Dのプロビジョンドスループットは推論速度を確保しますが、完全な応答生成を待ってから返す設計では体感レイテンシーの本質的な改善にはなりません。

Answer

Amazon CloudFront ディストリビューションを Bedrock エンドポイントの前段に配置し、レスポンスキャッシングで同一クエリの応答待ち時間をゼロにする — CloudFront のキャッシング機能は同一レスポンスの繰り返し配信に有効ですが、チャットボットの会話は毎回異なる内容であるためキャッシュが機能しません。また Bedrock はプライベートエンドポイント経由でアクセスするため、CloudFront を前段に配置するアーキテクチャは一般的ではありません。

Answer

Bedrock プロビジョンドスループットを購入してモデルの推論速度を確保し、応答生成の完了までの時間を短縮することでユーザー体験を改善する — プロビジョンドスループットはスループット保証により推論速度を確保しますが、依然として完全な応答生成を待ってからクライアントに返す設計では体感レイテンシーの本質的な改善は限定的です。ストリーミングと組み合わせて初めて最大の UX 改善効果が得られます。

解説

解説