MLAMLワークフローのデプロイとオーケストレーション
本番環境でXGBoostモデルを稼働させているMLチームが、新しいディープラーニングモデルをエンドユーザーへの影響なしに本番トラフィックで評価したいと考えています。新モデルのレイテンシとリソース消費を計測したいが、新モデルのレスポンスはユーザーに返してはならないという要件があります。最も適切なアプローチはどれですか？
ASageMaker A/Bテストで本番バリアントを2つ作成し、トラフィックを50:50に分割する
ユーザーに新モデルの推論結果が返されるため、本番環境での品質評価に伴う支障が発生します。
BSageMaker シャドウバリアントを作成し、本番トラフィックをミラーリングして新モデルを非同期評価する
✓ 正解
本番トラフィックをコピーして新バリアントに非同期送信し、ユーザーには返さずCloudWatchメトリクスで性能を比較できます。
C別のSageMakerエンドポイントを作成し、AWS Lambdaで本番リクエストを両エンドポイントに転送して結果を比較する
複数エンドポイントの管理とLambda経由の複雑なルーティング実装が必要で、運用管理のコストが高くなります。
DSageMaker Canaryデプロイで新モデルへのトラフィックを10%から段階的に増加させる
新モデルへのトラフィックが段階的に増加するため、本番ユーザーに影響を与える可能性があります。
解説
SageMakerのシャドウバリアント（Shadow Variant）は、プロダクションバリアントへのリクエストをコピーして新バリアントに非同期送信する機能です。新モデルのレスポンスはユーザーに返されず、CloudWatchメトリクスでレイテンシ・リソース使用量を比較できます。A/BテストやCanaryはユーザーに新モデルの結果が届くため要件を満たしません。Lambda経由の転送は管理コストが高く非推奨です。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →