eコマース企業が購買確率を予測するバイナリ分類モデルをSageMakerリアルタイムエンドポイントで運用中です。ユーザーが購買操作を完了した場合にそのフラグが数時間後にDynamoDBに記録されており、これをグラウンドト

Question

eコマース企業が購買確率を予測するバイナリ分類モデルをSageMakerリアルタイムエンドポイントで運用中です。ユーザーが購買操作を完了した場合にそのフラグが数時間後にDynamoDBに記録されており、これをグラウンドトゥルース（正解ラベル）として利用できます。この正解ラベルを活用してモデルの予測精度（AUC・F1スコアなど）が継続的に低下していないかを自動で監視・アラート通知する最も適切なSageMaker機能はどれですか？

Accepted Answer

正解: SageMaker Model Monitor のモデル品質モニタリングジョブを設定し、後から収集した正解ラベルと推論ログをマージして精度指標を定期算出・アラート通知する。SageMaker Model Monitor のモデル品質モニタリング（Model Quality Monitoring）は、推論ログと後から収集した正解ラベル（グラウンドトゥルース）を結合し、精度・AUC・F1スコアなどのモデルパフォーマンス指標をスケジュールに沿って自動算出する機能。算出した指標がベースライン値から逸脱した場合にCloudWatchアラームを介して通知でき、グラウンドトゥルースが時間差で収集される実際のMLシステムに対応したアーキテクチャを提供している。

選択肢AのSageMaker Clarify バイアスモニタリングは予測分布の公平性（特定グループへの偏り）を監視するものであり、AUC・F1スコアなどの予測精度の低下を正解ラベルと照合して直接検出する機能ではない。
選択肢Cのデータ品質モニタリングは入力データの分布変化を検出するが、正解ラベルを用いた実際の予測精度の直接評価はできない。
選択肢DのSageMaker Experimentsは実験の追跡・比較ツールであり、本番エンドポイントの継続的品質監視と自動アラート通知はネイティブにサポートされていない。

Answer

SageMaker Clarify のバイアスモニタリングを有効化して予測分布の偏りを追跡し、精度低下の兆候を間接的に検出する — Clarifyのバイアスモニタリングは特定の保護属性に対する予測の偏りを検出するが、モデル全体のAUCやF1スコアを正解ラベルと照合して継続的に評価・アラートする機能ではない。

Answer

SageMaker Model Monitor のデータ品質モニタリングジョブを設定し、入力リクエストの特徴量分布の変化を検出してモデル劣化の代替指標として利用する — データ品質モニタリングは入力データの統計的分布変化（特徴量のドリフト）を検出するが、正解ラベルを使ったモデルの予測精度（AUC・F1など）の直接評価は行えない。データドリフトと精度低下の相関は必ずしも成立しない。

Answer

SageMaker Experiments でエンドポイント呼び出しごとの予測スコアを記録し、カスタムスクリプトを定期実行して正解ラベルと照合しF1スコアを算出する — SageMaker Experimentsは実験管理・ハイパーパラメータ追跡に特化しており、本番エンドポイントの継続的品質監視スケジューリングや正解ラベルとの自動マージ・CloudWatchアラート通知をネイティブにサポートしていない。

解説

解説