ECサイトのMLチームが、既存の商品レコメンデーションモデル（v1）を新アーキテクチャのモデル（v2）に更新する計画を立てています。オフライン評価ではv2の指標はv1を上回っていますが、本番トラフィックにおける実際のパフ

Question

ECサイトのMLチームが、既存の商品レコメンデーションモデル（v1）を新アーキテクチャのモデル（v2）に更新する計画を立てています。オフライン評価ではv2の指標はv1を上回っていますが、本番トラフィックにおける実際のパフォーマンスを検証したいと考えています。エンドユーザーへのレスポンスは引き続きv1から返しながら、本番リクエストのコピーを使ってv2のレイテンシ・エラー率などをv1と比較分析する方法として最も適切なものはどれですか？

Accepted Answer

正解: SageMakerのシャドウテスト機能を設定し、本番リクエストをv1（プロダクションバリアント）とv2（シャドウバリアント）の両方に送信する。v2のレスポンスはユーザーには返さず、CloudWatchでv1とv2のメトリクスを比較する。SageMakerのシャドウテスト（Shadow Testing）機能では、エンドポイントにシャドウバリアントを設定することで、本番リクエストをプロダクションバリアント（v1）とシャドウバリアント（v2）の両方に同時に送信できます。シャドウバリアントのレスポンスはユーザーには返されないため、ユーザー体験に影響を与えずに本番相当のトラフィックでv2のパフォーマンスを評価できます。A/Bテストと異なり、ユーザーへの影響をゼロに保てる点が最大の特徴です。

選択肢B: A/Bテストではv2のレスポンスが5%のユーザーに実際に返されるため、「レスポンスはv1から返す」という要件を満たしません。

選択肢C: 過去のログを使ったオフライン評価はリアルタイムの本番トラフィックの多様性や分布変化を反映しきれず、本番での実際の比較にはなりません。

選択肢D: ステージング環境での合成負荷テストは本番トラフィックの実際の分布を完全には再現できず、「本番リクエストを使って比較する」という要件を満たしません。

Answer

SageMakerエンドポイントにv1とv2の2つのプロダクションバリアントを設定し、重み比率を95:5にして本番トラフィックの5%を実際にv2へルーティングするA/Bテストを実施し、CloudWatchでv1とv2の指標を比較する — A/Bテストではv2のレスポンスが5%のユーザーに実際に返されるため、「レスポンスはv1から返す」という要件を満たしません。

Answer

SageMaker Pipelinesでv2のバッチ評価ジョブを実行し、S3に保存済みの過去の本番リクエストログを再利用してオフラインでレイテンシやエラー率を評価し、基準を満たせばデプロイする — 過去のログを使ったオフライン評価はリアルタイムの本番トラフィックの多様性や分布変化を反映しきれず、本番での実際の比較にはなりません。

Answer

SageMaker Model Monitorをv2専用の別エンドポイントに設定し、ステージング環境で本番同等の合成負荷テストを実施してレイテンシとエラー率を計測してからリリース可否を判断する — ステージング環境での合成負荷テストは本番トラフィックの実際の分布を完全には再現できず、「本番リクエストを使って比較する」という要件を満たしません。

解説

解説