解説

AWS Inferentia（ml.inf2インスタンス）はAmazonが設計したML推論専用アクセラレータで、NVIDIAのGPUと比較して最大40〜60%のコスト削減を実現します。AWS Neuron SDKはPyTorchやHugging Faceと統合されており、BERTなどのTransformerモデルを対象ハードウェア向けにコンパイルすることで、GPU比同等以上のレイテンシーとスループットを達成できます。モデルのコンパイルとSageMakerエンドポイントの再デプロイという最小の手順で移行が完了するため、P99 85ms以内の要件を維持しながら大幅なコスト削減が可能です。 選択肢Bのml.g4dn.xlargeはg5より旧世代GPUインスタンスへのダウングレードであり、台数を増やすため総コスト削減幅が限定的で、レイテンシー要件を維持できない可能性がある。 選択肢CのSageMaker Serverless Inferenceはコールドスタート時に数秒のレイテンシースパイクが発生するため、P99 85msのリアルタイム要件を常時満たすことが困難であり、常時トラフィックがある場合はオンデマンドより高コストになることもある。 選択肢DのSageMaker Batch Transformはオフラインバッチ処理専用サービスであり、ユーザーへのリアルタイム検索応答を返すエンドポイントの代替にはならない。