医療画像解析を行うMLチームは、最大1GBの大きな画像ファイルを入力とし、1件あたり数分の推論時間を要するモデルを運用します。リクエストは不定期に届き、処理結果は即時でなくてよい一方、リクエストがない時間帯はコストをゼロ

Question

医療画像解析を行うMLチームは、最大1GBの大きな画像ファイルを入力とし、1件あたり数分の推論時間を要するモデルを運用します。リクエストは不定期に届き、処理結果は即時でなくてよい一方、リクエストがない時間帯はコストをゼロにしたいと考えています。この要件に最も適したデプロイ方法はどれですか。

Accepted Answer

正解: SageMaker 非同期推論（Asynchronous Inference）エンドポイントを構成し、リクエストをキューイングして処理する。非同期推論は大きなペイロード（最大1GB）と長い処理時間（最大1時間）に対応し、リクエストをキューに入れて順次処理する。即時応答が不要なワークロードに適し、リクエストがない間はインスタンスを0までスケールインしてアイドルコストをゼロにできる。

選択肢Aのリアルタイムエンドポイントはペイロードとタイムアウトの制限があり、最小1台が常時課金される。
選択肢Cのバッチ変換は蓄積データの一括処理向けで、不定期の個別リクエストには不向き。
選択肢Dのサーバーレス推論は1GB・数分の推論に対応できない。

Answer

SageMaker リアルタイム推論エンドポイントを常時稼働させ、Application Auto Scalingでインスタンス数を調整する — リアルタイムエンドポイントはペイロード6MB・タイムアウト60秒の制限があり1GB・数分の推論を扱えず、最小インスタンス1台が常時課金されるため、リクエストがない時間帯にコストをゼロにできない。

Answer

SageMaker バッチ変換（Batch Transform）ジョブを使い、蓄積したリクエストを定期的にまとめて処理する — バッチ変換はS3上の蓄積データを一括処理するオフライン用途で、不定期に届く個別リクエストを都度受け付けて処理する仕組みがなく、結果取得までの運用フローが本要件と合わない。

Answer

SageMaker サーバーレス推論（Serverless Inference）エンドポイントを構成し、リクエストごとに自動でスケールさせる — サーバーレス推論はペイロードサイズやタイムアウトに制限があり、最大1GB・数分の推論には対応できないため、大きな入力と長時間処理を要する本ワークロードには適さない。

解説

解説