MLAMLソリューションの監視、メンテナンス、セキュリティ
ある製薬会社が、薬物相互作用を予測するBERT-large（モデルサイズ340MB）をSageMakerリアルタイムエンドポイント（ml.p3.2xlarge、約$3.06/時間）で本番運用しています。新たな要件として「P99レイテンシー50ms以内・ピークスループット1,000リクエスト/秒を維持しながら、現行コストから60%以上削減すること」が課されました。以下の移行候補のうち、これら3要件をすべて同時に満たす構成はどれか。
Aml.inf2.xlargeへ移行し、AWS Neuron SDKでモデルをInferentia2向けにコンパイルしてエンドポイントにデプロイする（約$0.76/時間）
✓ 正解
AWS Inferentia2はディープラーニング推論専用カスタムシリコンで、ml.inf2.xlargeは約$0.76/時間（p3.2xlarge比約75%削減）。BERT-largeで1,000 RPS超かつP99 50ms以内を達成でき、3要件をすべて満たす唯一の構成。Neuron SDKによる事前コンパイルが必要だが、実装コストは小さい。
Bml.g5.xlargeへ移行し、TensorRTとFP16量子化でGPU推論を最適化してスループットとレイテンシーを向上させる（約$1.41/時間）
ml.g5.xlarge（NVIDIA A10G GPU搭載）は低レイテンシー・高スループットを実現できるが、約$1.41/時間はml.p3.2xlarge（$3.06/時間）との差が約54%削減にとどまり、要件の60%以上のコスト削減を達成できないため不適切。レイテンシーとスループットは満たすがコスト要件が失格となる。
Cml.c7g.2xlarge（AWS Graviton3）へ移行し、SageMaker NeoでARMアーキテクチャ向けINT8量子化コンパイルを適用する（約$0.36/時間）
ml.c7g.2xlarge（Graviton3）は約$0.36/時間と低コストだが、CPUベースのARMプロセッサはDL推論用アクセラレーターを持たず、1,000 RPS・P99 50ms以内というBERT-largeの要件を満たす推論スループットとレイテンシーを同時に確保できない。コスト要件は超過達成するが性能要件が失格。
Dml.m5.4xlargeへ移行し、ONNX RuntimeでINT8量子化を適用してCPU推論コストを最小化してデプロイする（約$0.77/時間）
ml.m5.4xlargeは約$0.77/時間でコスト削減目標は達成するが、汎用CPUはBERT-largeの1,000 RPSを処理しながらP99レイテンシー50ms以内を実現する推論性能を持たず、スループットとレイテンシーの2要件を同時に満たせない。コストはAと同等だが性能で劣る。
解説
AWS Inferentia2（inf2）はTransformerモデルの大規模推論向けに設計されたカスタムシリコンです。ml.inf2.xlargeは約$0.76/時間で、ml.p3.2xlarge（$3.06/時間）との差は約75%削減となり、60%削減要件を超過達成します。
BERT-largeクラスのモデルで1,000 RPS超のスループットとP99 50ms以内のレイテンシーを実現でき、3要件をすべて同時に満たします。AWS Neuron SDKはPyTorch/TensorFlowモデルをInferentia2のNeuronコア向けにコンパイルし、ハードウェアを最大限に活用します。
選択肢Bのml.g5.xlargeはNVIDIA A10G GPUで低レイテンシーと高スループットを達成できますが、約$1.41/時間はp3.2xlargeとの差が約54%削減にとどまり、60%削減の要件を満たせない。
選択肢Cのml.c7g.2xlarge（Graviton3）は約$0.36/時間と低コストでコスト要件は超過達成するが、CPUベースのARMプロセッサはDL推論アクセラレーターを持たず、BERT-largeの1,000 RPS・P99 50ms以内という同時要件を満たす推論性能を確保できない。
選択肢Dのml.m5.4xlargeは約$0.77/時間でコスト削減目標は達成できるが、汎用CPUではBERT-largeの1,000 RPS推論をP99 50ms以内で処理するスループットとレイテンシーの両要件を同時に満たす能力が不足する。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →