解説

SageMaker Serverless Inferenceはリクエストがない間はコストが発生しないリクエストベース課金（推論時間×GB＋リクエスト数）を採用しています。1日30件×50モデル＝1,500件/日という極めて疎なトラフィックでは月額数ドル以下に収まり、$5,400から99%超のコスト削減が実現できます。200MBの文書分類モデルはServerless Inferenceの最大メモリ6,144MB（6GB）の上限内に収まります。コールドスタートはモデルサイズ・ダウンロード時間・コンテナ起動時間に依存しますが、200MB程度の小規模モデルでは通常数秒程度に収まることが多く、10秒のレイテンシー要件を満たせる可能性が高いです。 選択肢AのMulti-Model Endpointは、ml.m5.xlarge×2台の常時稼働インスタンス（月額約$276）で70%以上の削減は達成できますが、1日30件の疎なトラフィックに対してもインスタンス費用が24時間発生するため、Serverless Inferenceと比べてコスト効率が大きく劣ります。 選択肢CのAsync Inferenceは、ゼロインスタンスへのスケールイン設定は可能ですが、ゼロからのスケールアップには数分以上要するため10秒以内のレイテンシー要件を満たせません。また応答がS3経由の非同期方式となり、リアルタイム性が必要なリクエストには不向きです。 選択肢DのServerless Inferenceのプロビジョニング済み同時実行数は、常時ウォームな実行環境を維持するため設定した同時実行数分の固定課金が発生します。リクエストが少ない時間帯でも費用がかかり続け、アイドルコストゼロというServerless Inferenceの最大の利点を損ないます。