ECサイト企業が本番稼働中のSageMakerリアルタイム推論エンドポイント（商品レコメンデーションモデル）に対して、新しいモデルバージョンの性能を評価したいと考えています。要件は①実際の本番トラフィックを使って新モデル

Question

ECサイト企業が本番稼働中のSageMakerリアルタイム推論エンドポイント（商品レコメンデーションモデル）に対して、新しいモデルバージョンの性能を評価したいと考えています。要件は①実際の本番トラフィックを使って新モデルを評価する、
②エンドユーザーへの応答は現行モデルからのみ返す、
③本番の可用性やレイテンシに影響を与えない、の3点です。この要件をすべて満たす最も適切な方法はどれですか？

Accepted Answer

正解: SageMaker Shadow Testingを設定し、本番トラフィックのコピーをシャドウバリアント（新モデル）に非同期送信して、ユーザーへの応答には影響せず予測結果を比較する。SageMaker Shadow Testingは、本番エンドポイントへのリクエストを現行モデル（プライマリバリアント）が処理してユーザーに返しながら、同じリクエストのコピーを新モデル（シャドウバリアント）に非同期で送信する機能です。ユーザーへの影響ゼロで実際の本番トラフィックによる評価が可能であり、3要件すべてを満たします。

選択肢A の A/Bテストは一部ユーザーに未検証の新モデルの結果が返るため要件②に違反します。

選択肢C の Blue/Greenデプロイは段階的移行後に全ユーザーが新モデルに切り替わるため、未検証段階では要件②を満たせません。

選択肢D の オフライン評価は実際の本番トラフィックパターンを反映できず、分布シフトや本番特有のエッジケースを見逃す可能性があり要件①を満たしません。

Answer

SageMaker エンドポイントにProduction Variantsを設定し、新旧モデルに10%/90%でトラフィックを分割するA/Bテストを実施する — A/Bテストは一部ユーザーに未検証の新モデルの結果が返るため要件②に違反します。

Answer

SageMaker Blue/Greenデプロイを使用して、新モデルへのトラフィック移行を段階的に実施し、問題があれば即座にロールバックする — Blue/Greenデプロイは段階的移行後に全ユーザーが新モデルに切り替わるため、未検証段階では要件②を満たせません。

Answer

SageMaker Pipelinesを使用して、保持データセット（ホールドアウトセット）で新モデルをオフライン評価し、性能が基準を超えた場合に手動でデプロイを承認する — オフライン評価は実際の本番トラフィックパターンを反映できず、分布シフトや本番特有のエッジケースを見逃す可能性があり要件①を満たしません。

解説

解説