無限ノック › AIP 練習問題一覧 › 問題
AIP生成AIアプリケーションの運用効率と最適化

法律事務所が契約書レビュー用の生成AIアプリケーションをAmazon BedrockとAPI Gatewayで構築しています。ユーザーから「回答が画面に表示されるまで25〜35秒かかる」という苦情が多発しています。契約書の性質上、生成するトークン数の削減や小型モデルへの切り替えは品質上許容されません。アプリケーションコードの変更を最小限に抑えながら、ユーザーが最初のテキストを見るまでの時間(TTFT:Time To First Token)を最も効果的に短縮する方法はどれですか?

A
Amazon CloudFront をAPI Gatewayの前段に配置し、類似クエリのレスポンスをエッジキャッシュする
理由。CloudFrontキャッシュは同一クエリにしか効果がなく、多様なクエリには対応できません。
B
Amazon Bedrock の InvokeModelWithResponseStream APIに切り替え、生成されたトークンをSSE(Server-Sent Events:サーバーからクライアントへの一方向イベント送信)またはWebSocketでクライアントへ逐次送信する
✓ 正解
Amazon Bedrock の InvokeModelWithResponseStream APIに切り替え、生成されたトークンをSSE(Server-Sent Events:サーバーからクライアントへの一方向イベント送信)またはWebSocketでクライアントへ逐次送信する InvokeModelWithResponseStream はトークンが生成されるたびにイベントストリームとしてクライアントへ送信するため、全生成完了を待たずに最初のトークンを即時表示できる。これによりTTFTが数百ミリ秒レベルまで短縮され、知覚レイテンシが劇的に改善される。
C
Lambda のメモリを最大値(10GB)に増やし、複数のチャンクを並列生成してマージする
理由。Lambdaメモリ増加は推論速度に影響せず、複数のチャンク並列生成も全完了待機は不要です。
D
Bedrock Provisioned Throughput を購入してスループットを確保し、推論開始までの待機時間を削減する
理由。Provisioned ThroughputはスループットのキャパシティであってTTFT改善には直接効果がありません。

解説

InvokeModelWithResponseStream はトークンが生成されるたびにイベントストリームとしてクライアントへ送信するため、全生成完了を待たずに最初のトークンを即時表示できます。これによりTTFT(Time To First Token)が数百ミリ秒レベルまで短縮され、ユーザーの知覚レイテンシが劇的に改善されます。 選択肢Aは不正解です。CloudFrontキャッシュは同一クエリにしか効果がなく、契約書レビューのような多様なクエリではキャッシュヒット率が極めて低いため有効ではありません。 選択肢Cは不正解です。Lambdaのメモリ増加はCPU比例で処理速度を向上させますが、LLMの推論速度そのものには影響しません。複数チャンクの並列生成という概念も生成AIの動作原理上実現できません。 選択肢Dは不正解です。Provisioned ThroughputはスループットキャパシティであってTTFT改善には直接効果がありません。スロットリング解消には有効ですが、応答時間の体感改善にはなりません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る