MLAMLワークフローのデプロイとオーケストレーション
あるECサイト企業が商品レコメンデーションモデルを本番稼働させています。新しいアーキテクチャでトレーニングしたモデルをリリースしたいのですが、ユーザー体験に影響を与えずに実際の本番トラフィックで新モデルの挙動を検証したいと考えています。この目的に最も適切なアプローチはどれですか？
A新モデルを別の SageMaker エンドポイントにデプロイし、Application Load Balancer を使って本番トラフィックの 10% を新エンドポイントにルーティングする
ALB を使って本番トラフィックの一部を新エンドポイントに直接ルーティングする方式では、そのトラフィックを受けるユーザーが新モデルのレスポンスを直接受け取ることになるため、ユーザー体験に影響が出ます。
BSageMakerエンドポイントのシャドウテスト機能を使用し、メインモデルのみユーザーへレスポンスを返しながら新モデルの推論結果を比較記録する
✓ 正解
SageMaker シャドウテストは、本番トラフィックのコピーをシャドウバリアントに非同期で転送しますが、ユーザーへのレスポンスはメインバリアントのみから返します。これによりユーザー体験に影響を与えずに実トラフィックで新モデルを検証できます。
CSageMaker の A/B テスト（プロダクションバリアント）で新モデルに 10% のトラフィックを割り当て、両モデルがユーザーへレスポンスを返す形で評価する
SageMaker A/B テスト（プロダクションバリアント）も同様に両モデルが実際にユーザーへレスポンスを返すため、新モデルの不具合がユーザーに影響します。
D保留したテストセット（ホールドアウトセット）を使ったオフライン評価のみを実施し、精度が改善していれば本番デプロイする
保留したテストセット（ホールドアウトセット）を使ったオフライン評価は本番トラフィックの分布の変化を反映できない場合があります。
解説
SageMaker シャドウテストは、本番トラフィックのコピーをシャドウバリアントに非同期で転送しますが、ユーザーへのレスポンスはメインバリアントのみから返します。これによりユーザー体験に影響を与えずに実トラフィックで新モデルを検証できます。
選択肢AのALB を使って本番トラフィックの一部を新エンドポイントに直接ルーティングする方式では、そのトラフィックを受けるユーザーが新モデルのレスポンスを直接受け取ることになるため、ユーザー体験に影響が出ます。
選択肢CのSageMaker A/B テスト（プロダクションバリアント）も同様に両モデルが実際にユーザーへレスポンスを返すため、新モデルの不具合がユーザーに影響します。
選択肢Dの保留したテストセット（ホールドアウトセット）を使ったオフライン評価は本番トラフィックの分布の変化を反映できない場合があります。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →