MLエンジニアが SageMaker Model Registry を使用して複数バージョンのモデルを管理しています。CI/CD パイプラインの一部として、新しいモデルバージョンが評価基準（AUC-ROC スコアが 0.

Question

MLエンジニアが SageMaker Model Registry を使用して複数バージョンのモデルを管理しています。CI/CD パイプラインの一部として、新しいモデルバージョンが評価基準（AUC-ROC スコアが 0.85 以上）を満たした場合のみ自動的に本番エンドポイントを更新したいと考えています。最も適切な実装方法はどれですか？

Accepted Answer

正解: SageMaker Pipelines でトレーニング・評価・条件付き登録・デプロイのステップを定義し、Condition ステップで評価基準を確認後に Model Registry のステータスを Approved に更新、EventBridge で承認イベントを検知してエンドポイント更新を自動実行する。正解：
SageMaker Pipelines でトレーニング・評価・条件付き登録・デプロイのステップを定義し、Condition ステップで評価基準を確認後に Model Registry のステータスを Approved に更新、EventBridge で承認イベントを検知してエンドポイント更新を自動実行する

SageMaker Pipelines の Condition ステップはメトリクスに基づく条件分岐を提供し、AUC-ROC などの評価指標が閾値を満たす場合のみ後続ステップを実行できる。Model Registry の Approved ステータスへの変更を EventBridge で検知して自動デプロイするパターンは、AWS が推奨する MLOps の標準的な実装方法。
選択肢Bは評価合格時に手動デプロイの通知を行うだけであり、CI/CD の「自動」デプロイ要件を満たさない。
選択肢Cは特定タスクに特化した自動ML最適化ツールであり、任意の評価基準に基づく継続的デプロイ制御には対応しない。
選択肢Dは Lambda の定期実行による設計で Model Registry との統合がなく、最大1時間のラグが生じる上にパイプラインとの継続性に欠ける。

Answer

AWS CodePipeline と CodeBuild を組み合わせてモデルのトレーニングと評価を自動化し、評価スクリプトが AUC-ROC 閾値を超えた場合のみ担当者への SNS 通知を送り、承認後に手動で AWS CLI デプロイコマンドを実行する — 評価合格時に手動デプロイの通知を行うだけであり、CI/CD の「自動」デプロイ要件を満たさない。

Answer

SageMaker Autopilot でモデルを継続的に再トレーニングし、各実験の AUC-ROC スコアを自動的に比較して最高スコアのモデルバージョンを本番エンドポイントにデプロイする設定を有効化する — 特定タスクに特化した自動ML最適化ツールであり、任意の評価基準に基づく継続的デプロイ制御には対応しない。

Answer

Lambda 関数を EventBridge のスケジュールルールで毎時起動し、SageMaker Experiments に記録されたメトリクスから AUC-ROC 基準を満たすモデルを抽出して boto3 で本番エンドポイントに直接反映する — Lambda の定期実行による設計で Model Registry との統合がなく、最大1時間のラグが生じる上にパイプラインとの継続性に欠ける。

解説

解説