MLAMLワークフローのデプロイとオーケストレーション
ECコマース企業が600種類の商品カテゴリごとに個別のレコメンデーションモデルを保持しています。各モデルはアーティファクトサイズ約200MBで、カテゴリによっては1日あたりの呼び出しが1〜10回と非常に少ない場合があります。インフラコストを最小限に抑えながら全モデルをAPIエンドポイントとして提供するために最も適切なデプロイ戦略はどれですか?
A600個の SageMaker リアルタイムエンドポイントをそれぞれのモデルに対して個別に作成する
個別エンドポイント600個はコストが膨大になります。
BSageMaker マルチモデルエンドポイント(Multi-Model Endpoint)を使用して全モデルを単一エンドポイントで提供する
✓ 正解
SageMaker マルチモデルエンドポイント(MME)は、単一エンドポイントで数百〜数千のモデルをホストし、呼び出し頻度に応じてモデルをメモリにロード・アンロードします。このユースケースに最適なコスト効率を提供します。
CSageMaker サーバーレス推論エンドポイントを600個作成し、アイドル時のコストをゼロにする
サーバーレス推論はコールドスタートが発生するため低遅延要件に不向きで、600エンドポイントの管理コストも残ります。
DSageMaker リアルタイムエンドポイント上でアンサンブルモデルを構築し、600モデルを1つに統合する
アンサンブル統合は要件を満たさず複雑性が増します。
解説
正解:
SageMaker マルチモデルエンドポイント(Multi-Model Endpoint)を使用して全モデルを単一エンドポイントで提供する
SageMaker マルチモデルエンドポイント(MME)は、単一エンドポイントで数百〜数千のモデルをホストし、呼び出し頻度に応じてモデルをメモリにロード・アンロードします。このユースケースに最適なコスト効率を提供します。
選択肢Aは、個別エンドポイント600個はコストが膨大になります。
選択肢Cは、サーバーレス推論はコールドスタートが発生するため低遅延要件に不向きで、600エンドポイントの管理コストも残ります。
選択肢Dは、アンサンブル統合は要件を満たさず複雑性が増します。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →