AIP生成AIアプリケーションの運用効率と最適化
あるスタートアップが、Amazon Bedrockを使って日次1,000万トークンのドキュメント処理パイプラインを運用しています。現在すべてのリクエストにClaude Sonnetを使用していますが、ワークロード分析の結果、以下の2種類のタスクで構成されることが判明しました。
タスク1(全体の10%):複雑な法的文書の要約(高い推論能力が必要)
タスク2(全体の90%):請求書からの構造化データ(日付・金額・取引先名)の抽出(シンプルな抽出タスク)
品質を維持しながら最大限コストを削減するアーキテクチャ変更として最も適切なものはどれですか?
AすべてのリクエストをClaude Haikuに切り替え、コストを最小化する
高複雑度タスクの品質が劣化する。
Bタスク1はClaude Sonnet(高精度)、タスク2はClaude Haiku(低コスト)に振り分けるインテリジェントモデルルーティングをLambdaで実装する
✓ 正解
タスク1はClaude Sonnet(高精度)、タスク2はClaude Haiku(低コスト)に振り分けるインテリジェントモデルルーティングをLambdaで実装する。
タスクの複雑さに応じてモデルを使い分けるインテリジェントモデルルーティングが最もコスト効率の高い手法。全体の90%を占めるシンプルな抽出タスクをClaude Haikuに移行するだけで大幅なコスト削減が見込める。
C全リクエストに1ヶ月コミットのProvisioned Throughputを購入し、オンデマンド料金より安くする
量的な割引があるがモデル自体のコストは変わらない。
DAmazon SageMakerにオープンソース(OSS: Open Source Software)モデルをホストしてすべての処理をSageMakerに移行し、Bedrockのコストをゼロにする
インフラ管理コストや移行リスクが高くトレードオフが大きい。
解説
タスクの複雑さに応じてモデルを使い分けるインテリジェントモデルルーティングが最もコスト効率の高い手法です。全体の90%を占めるシンプルな抽出タスクをClaude Haikuに移行するだけで大幅なコスト削減が見込めます。
選択肢Aは不正解です。すべてをClaude Haikuに切り替えると、高複雑度タスク(法的文書の要約)の品質が劣化するリスクがあり、品質維持という要件を満たせません。
選択肢Cは不正解です。Provisioned Throughputは量的な割引がありますが、モデル単価自体は変わらないため、モデルルーティングと比較してコスト削減効果は限定的です。
選択肢Dは不正解です。SageMakerへの移行はインフラ管理コストや移行リスクが高く、初期コストも大きいためトレードオフが大きく最適ではありません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →