AIF基盤モデルのアプリケーション
ある企業は、Amazon Bedrock 上の大規模で高精度な基盤モデルを本番で使っていますが、推論コストとレイテンシが課題です。大規模モデルの応答品質をできるだけ維持しつつ、より小型で低コストなモデルにその振る舞いを学習させて本番運用したいと考えています。この目的に最も適したアプローチはどれですか。
A大規模な教師モデルの出力を使って小型モデルを学習させるモデル蒸留（知識蒸留）を行う
✓ 正解
教師モデルの出力で小型の生徒モデルを学習させることで、応答品質を維持しつつ推論コストとレイテンシを削減でき、本要件に最適です。BedrockのModel Distillationがこの用途を支援します。
BProvisioned Throughput を購入して大規模モデルのスループットを確保する
専用スループットを予約購入してレイテンシやスループットを安定させる機能ですが、モデル自体を小型化・低コスト化するものではありません。コスト削減を目的とする本要件には合致しません。
CGuardrails を設定して有害な出力をフィルタリングする
有害・不適切な入出力をフィルタリングする安全性向上のための機能であり、推論コストやモデルサイズの最適化とは無関係です。小型化による低コスト化という本要件には対応しません。
DRAG を導入して外部ナレッジから関連情報を取得させる
外部ナレッジから関連情報を検索して回答精度を高める手法であり、モデルの小型化やコスト削減を実現するものではありません。むしろ検索処理が加わるため本要件の目的とは異なります。
解説
モデル蒸留（知識蒸留）は、高精度な大規模モデル（教師モデル）の出力を使って小型モデル（生徒モデル）を学習させ、品質を可能な限り維持しながら推論コストとレイテンシを削減する手法です。
Amazon Bedrockには Model Distillation 機能があり、本要件に最適です。
選択肢BのProvisioned Throughputは、専用スループットを予約購入する機能でレイテンシの安定には寄与するが、モデル自体を小型化・低コスト化するものではない。
選択肢CのGuardrailsは、有害・不適切な出力を制御する安全機能で、コストやモデルサイズの最適化とは関係がない。
選択肢DのRAGは、外部知識を検索して回答精度を高める手法で、モデルを小型化してコストを下げる目的には合致しない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →