AIP生成AIアプリケーションの運用効率と最適化

あるスタートアップ企業が、Amazon Bedrock(Claude)を使用したチャットボットを構築しています。フロントエンドはReactで実装されており、ユーザーはトークンが生成されるたびに応答をリアルタイムで確認したいと考えています。バックエンドチームはAPI Gatewayの29秒タイムアウト制限を回避しつつ、最初のバイトまでの時間(TTFB: Time To First Byte)を最小化したいと考えています。最もシンプルかつ効果的なアーキテクチャはどれですか?

A
API Gateway WebSocket APIを使用し、Lambda関数でInvokeModelWithResponseStreamを呼び出してWebSocket経由でチャンクを送信する
WebSocket APIは接続管理が複雑です。
B
Lambda関数URLのストリーミングモード(RESPONSE_STREAM)を有効化し、InvokeModelWithResponseStream APIを使用してレスポンスを直接クライアントにストリーミングする
✓ 正解
Lambda関数URLのストリーミングモード(RESPONSE_STREAM)を使用すると、API Gatewayの29秒タイムアウト制限を回避しながら、Bedrock InvokeModelWithResponseStreamで取得したトークンを逐次クライアントへ送信できます。追加インフラが不要で実装がシンプルであり、TTFBも最小化されます。
C
Amazon AppSyncのサブスクリプション機能を使用し、Lambdaリゾルバーがトークンをリアルタイムにブロードキャストする
AmazonAppSyncはPub/Subのオーバーヘッドがあります。
D
CloudFront + API GatewayでTransfer-Encoding: chunkedを使用し、Bedrockのストリーミングレスポンスを中継する
CloudFrontはBedrockへの直接プロキシには非対応です。

解説

Lambda関数URLのストリーミングモード(RESPONSE_STREAM)を使用すると、API Gatewayの29秒タイムアウト制限を回避しながら、Bedrock InvokeModelWithResponseStreamで取得したトークンを逐次クライアントへ送信できます。追加インフラが不要で実装がシンプルであり、TTFBも最小化されます。 選択肢AのWebSocket APIは接続管理が複雑です。 選択肢CのAmazon AppSyncはPub/Subのオーバーヘッドがあります。 選択肢DのCloudFrontはBedrockへの直接プロキシには非対応です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIP の問題一覧に戻る