AIF基盤モデルのアプリケーション
ある企業が、大規模で高精度な基盤モデルを本番運用していますが、推論コストとレイテンシが課題です。対象タスクを限定したうえで、大規模モデルの応答品質を可能な限り維持しつつ、より小型で高速・低コストなモデルを得たいと考えています。最も適切なアプローチはどれですか。
A大規模モデルの出力を教師データとして小型モデルを訓練するAmazon Bedrock Model Distillation
✓ 正解
大規模な教師モデルの出力で小型の生徒モデルを訓練し、特定タスクで品質を維持しつつ高速・低コスト化できるため、推論コストとレイテンシ低減の要件に直接適合する。
B検索した社内文書をプロンプトに付加して回答精度を高めるRAG（検索拡張生成）
外部文書を検索してプロンプトに付加し回答精度を高める手法であり、モデル自体を小型化・高速化してコストやレイテンシを下げる目的には合致しない。
C推論時にプロンプトへ段階的な思考過程を促すチェーンオブソートプロンプティング
段階的な思考を促すプロンプト技法であり、生成トークンが増えるためむしろコストやレイテンシが増加しやすく、軽量化の要件に反する。
D一定の推論キャパシティを予約購入するプロビジョンドスループット
推論キャパシティを予約して安定運用する課金オプションであり、モデルを小型化・高速化するものではないため要件を満たさない。
解説
Amazon Bedrock Model Distillation（知識蒸留）は、大規模で高精度な「教師モデル」の出力を使って小型の「生徒モデル」を訓練し、特定タスクにおいて教師に近い品質を保ちつつ、より高速・低コストなモデルを得る手法です。
推論コストとレイテンシを下げたいという要件に直接適合します。
選択肢のRAGは外部知識を付加して回答精度を高める手法で、モデル自体を小型化・高速化するものではない。
選択肢のチェーンオブソートは推論過程を引き出すプロンプト技法で、むしろトークン数が増えコスト・レイテンシが上がる傾向がある。
選択肢のプロビジョンドスループットはキャパシティ予約による安定運用の仕組みで、モデルを小型化するものではない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →