MLAMLワークフローのデプロイとオーケストレーション
大手小売企業では、数百万件の日次リクエストを処理する本番レコメンデーションモデルが稼働しています。MLチームは改善された新モデルをトレーニングしましたが、顧客への影響を一切生じさせずに、実際の本番トラフィックを使って新モデルのパフォーマンスを検証したいと考えています。どのデプロイ戦略を採用すべきですか？
A新モデルを別のエンドポイントにデプロイし、Amazon Route 53の重み付きルーティングで本番トラフィックの10%を新エンドポイントに転送する
（Route 53の重み付きルーティング）はトラフィックの一部を新エンドポイントに転送するため、一部の顧客が新モデルのレスポンスを受け取り、「顧客影響ゼロ」の要件を満たしません。
BSageMakerのシャドウテスト（Shadow Testing）機能を使用して、本番トラフィックのコピーを新モデルにミラーリングし、顧客へのレスポンスには影響を与えずにオフラインで結果を比較する
✓ 正解
SageMakerのシャドウテスト（Shadow Testing）機能を使用して、本番トラフィックのコピーを新モデルにミラーリングし、顧客へのレスポンスには影響を与えずにオフラインで結果を比較する。
SageMaker Shadow Testingは、本番エンドポイントへのリクエストを新モデルにもミラーリングし、顧客には既存モデルのレスポンスのみを返しながら、新モデルの推論結果を非同期に収集・比較する機能です。
CSageMakerのマルチバリアントエンドポイント（Multi-variant Endpoint）を設定し、本番トラフィックの10%を新モデルに実際にルーティングしてA/Bテストを行う
（SageMakerのマルチバリアントエンドポイント）は本番トラフィックの一部を新モデルに実際にルーティングするため、一部の顧客に新モデルの予測を実際に提供するため「顧客影響ゼロ」の要件を満たしません。
DSageMaker Batch Transformを使用して、過去の本番リクエストログに対して新モデルの推論を実行し、オフラインで評価する
（SageMaker Batch Transform）は過去ログでしか評価できず、リアルタイムトラフィックとの分布差異が生じる可能性があります。
解説
SageMakerのシャドウテスト（Shadow Testing）機能を使用して、本番トラフィックのコピーを新モデルにミラーリングし、顧客へのレスポンスには影響を与えずにオフラインで結果を比較する。
SageMaker Shadow Testingは、本番エンドポイントへのリクエストを新モデルにもミラーリングし、顧客には既存モデルのレスポンスのみを返しながら、新モデルの推論結果を非同期に収集・比較する機能です。
選択肢A（Route 53の重み付きルーティング）はトラフィックの一部を新エンドポイントに転送するため、一部の顧客が新モデルのレスポンスを受け取り、「顧客影響ゼロ」の要件を満たしません。
選択肢C（SageMakerのマルチバリアントエンドポイント）は本番トラフィックの一部を新モデルに実際にルーティングするため、一部の顧客に新モデルの予測を実際に提供するため「顧客影響ゼロ」の要件を満たしません。
選択肢D（SageMaker Batch Transform）は過去ログでしか評価できず、リアルタイムトラフィックとの分布差異が生じる可能性があります。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →