ECサイトのMLチームが既存の商品推薦モデル（V1）に対して新しいアーキテクチャのモデル（V2）を評価したいと考えています。要件は（1）両モデルとも本番トラフィックの一部を実際に処理して予測精度を比較できること、（2）V

Question

ECサイトのMLチームが既存の商品推薦モデル（V1）に対して新しいアーキテクチャのモデル（V2）を評価したいと考えています。要件は（1）両モデルとも本番トラフィックの一部を実際に処理して予測精度を比較できること、（2）V2が劣化した場合に即座にV1に切り戻せること、（3）V2の評価中もV1のエンドポイントURLを変更しないこと、の3点です。最もシンプルにこれを実現する構成はどれですか。

Accepted Answer

正解: 同一エンドポイントにV1とV2をプロダクションバリアントとして登録し、InitialVariantWeightでトラフィック比を制御してV2劣化時はウェイト変更で即切り戻す。同一エンドポイントへの複数プロダクションバリアント登録により、URLを変更せず両モデルで実際のリクエストを処理し、ウェイト変更のみで瞬時に切り戻せる。

Answer

SageMakerシャドウバリアントとしてV2を設定して本番トラフィックのコピーをV2に非同期送信し、V2の本番応答への影響なしにパフォーマンスを評価する — SageMakerシャドウバリアントは本番トラフィックのコピーをV2に送るが、V2の応答は実際のレスポンスには使用されないため両モデルで実際に予測処理するという要件を満たさない。

Answer

V2専用の新しいSageMakerエンドポイントをデプロイし、Route 53の加重ルーティングポリシーで両エンドポイントにリクエストを分散してCloudWatchとSageMaker Experimentsで性能を比較記録する — Route 53加重ルーティングは異なるエンドポイントURLに対してトラフィックを分散するため、V1のエンドポイントURLを変更しないという要件に反する。

Answer

SageMaker Pipelinesにカナリアデプロイステップを実装し、V2へのトラフィックを5%から段階的に増加させてStep Functionsで手動承認ゲートを挟みながら移行する — SageMaker Pipelinesによるカナリアデプロイは段階的移行に有効だが、シンプルさという要件に合わず即時切り戻しにも複数の手順が必要になる。

解説