EC サイトを運営する企業が新しいレコメンデーションモデル（v2）を開発しました。現行モデル（v1）は高トラフィックで稼働中のため、いきなり全トラフィックを切り替えるリスクを避け、最初は本番トラフィックの 10% だけを

Question

EC サイトを運営する企業が新しいレコメンデーションモデル（v2）を開発しました。現行モデル（v1）は高トラフィックで稼働中のため、いきなり全トラフィックを切り替えるリスクを避け、最初は本番トラフィックの 10% だけを v2 に送り、問題がなければ段階的に割合を引き上げたいと考えています。SageMaker でこのカナリアデプロイを実現する最も適切な方法はどれですか？

Accepted Answer

正解: SageMaker エンドポイントの Production Variants 機能を使用して v1 と v2 を同一エンドポイントに登録し、InitialVariantWeight で 90:10 のトラフィック比率を設定する。段階的に移行する際は UpdateEndpointWeightsAndCapacities API で重みを変更する。SageMaker エンドポイントの Production Variants は単一エンドポイントで複数モデルバリアントをホスティングし、InitialVariantWeight でリクエスト比率を制御するカナリアデプロイの標準機能。UpdateEndpointWeightsAndCapacities API で再デプロイなしに比率を動的変更できます。

選択肢Aの Route 53 による分割は SageMaker エンドポイント URL の形式上機能しません。

選択肢Cの Multi-Model Endpoint はクライアント側でモデルを指定する別用途の機能です。

選択肢DのSageMaker Pipelines の Blue/Green デプロイはカナリアデプロイのような段階的な移行には向きません。

Answer

v1・v2 それぞれに独立した SageMaker エンドポイントを作成し、Amazon Route 53 の加重ルーティングポリシーで 90:10 のトラフィック分割を設定する — Route 53 の加重ルーティングはドメイン単位のDNS分割で、SageMaker のマネージドエンドポイントURLには適用できません。さらに v1・v2 を別エンドポイントに分けると重みの動的変更による段階移行も困難で、一元的なカナリア管理になりません。

Answer

SageMaker Multi-Model Endpoint に v1・v2 を同時ロードし、クライアントアプリケーション側でリクエストの 10% に TargetModel ヘッダーで v2 を指定する — Multi-Model Endpoint は多数モデルを単一エンドポイントにロードしクライアントが TargetModel で明示指定する用途で、トラフィック比率を制御して段階的に移行するカナリアデプロイの仕組みではなく、本要件には適しません。

Answer

SageMaker Pipelines で Blue/Green デプロイステップを構成し、v2 のエンドポイントが正常稼働を確認した後に自動でトラフィックを切り替えるパイプラインを実行する — SageMaker Pipelines の Blue/Green は新環境の正常性確認後に一括でトラフィックを切り替える方式で、本番トラフィックの一部を流して徐々に割合を引き上げる段階的なカナリア移行の要件には適していません。

解説

解説