MLチームがSageMaker Pipelinesでモデルのトレーニングと評価を自動化しています。評価ステップで算出したAUC-ROC（Area Under the ROC Curve：分類モデルの性能指標。0〜1の値で

Question

MLチームがSageMaker Pipelinesでモデルのトレーニングと評価を自動化しています。評価ステップで算出したAUC-ROC（Area Under the ROC Curve：分類モデルの性能指標。0〜1の値で1に近いほど優秀）スコアが0.85を超えた場合のみ、モデルをSageMaker Model Registryに自動登録したいと考えています。最も適切なアプローチはどれですか？

Accepted Answer

正解: SageMaker PipelinesのConditionStepを使用し、評価メトリクスをしきい値と比較して後続ステップを分岐させる。SageMaker PipelinesのConditionStepは、メトリクスとしきい値の比較結果に基づいて後続ステップを分岐させる組み込み機能です。ProcessingStepで計算したAUC-ROCをConditionStepで評価し、0.85超の場合のみModelStepでModel Registryへ登録するパイプラインを構築できます。パイプライン内で完結するシンプルな構成で、外部サービスの追加は不要です。

選択肢B：LambdaとEventBridgeを追加する方法はパイプライン外部にロジックが分散し、不要な複雑さを生じさせます。ConditionStepを使えばパイプライン内でネイティブに条件分岐を実現できます。

選択肢C：SageMaker Model Monitorはデプロイ済みモデルのデータドリフトや品質劣化を継続監視するサービスであり、トレーニングパイプライン内の条件付き登録制御には設計されていません。

選択肢D：SageMaker AutopilotはアルゴリズムやMLフレームワーク選択からハイパーパラメータ調整まで全自動化するAutoMLサービスです。既存パイプライン内での評価スコアに基づく条件付き登録ロジックには適していません。

Answer

AWS Lambda関数でAUC-ROCスコアを確認し、Amazon EventBridgeルールでModel Registryへの登録をトリガーする — LambdaとEventBridgeの組み合わせでも条件付き登録は実現できますが、SageMaker Pipelines外部にロジックが分散するため構成が複雑になります。パイプライン内でネイティブに分岐できるConditionStepを使えば不要な複雑さを避けられます。

Answer

SageMaker Model Monitorでモデル品質を監視し、CloudWatchアラームが発火した際にモデルを登録する — SageMaker Model Monitorはデプロイ済みの本番モデルのデータドリフトや品質劣化を継続監視するサービスです。トレーニングパイプライン内で評価スコアに基づく条件付き登録を制御する用途には設計されていません。

Answer

SageMaker Autopilotでモデルを自動評価し、最高性能のモデルをModel Registryに登録する — SageMaker AutopilotはアルゴリズムやMLフレームワークの選択からハイパーパラメータ調整まで全自動化するAutoMLサービスです。既存のSageMaker Pipelineでモデル評価スコアに基づく条件付き登録ロジックを組み込む本タスクには適していません。

解説

解説