消費者金融会社がSageMakerリアルタイムエンドポイントでローン審査バイナリ分類モデルを運用しています。四半期ごとに確定する実際の返済結果（グラウンドトゥルース）とモデル予測を定期的に比較し、精度・再現率・F1スコア

Question

消費者金融会社がSageMakerリアルタイムエンドポイントでローン審査バイナリ分類モデルを運用しています。四半期ごとに確定する実際の返済結果（グラウンドトゥルース）とモデル予測を定期的に比較し、精度・再現率・F1スコアの劣化を自動検出してCloudWatchアラームを発報しEventBridgeで再トレーニングパイプラインをトリガーしたいと考えています。この要件に最も適したSageMaker Model Monitorの設定はどれですか。

Accepted Answer

正解: Model Quality Monitorジョブを設定しS3に蓄積されるグラウンドトゥルースラベルとモデル予測を定期結合して精度メトリクスの劣化を検出する。SageMaker Model Quality Monitorは、エンドポイントのキャプチャされた予測出力とS3に事後配置されるグラウンドトゥルースラベルを定期的に結合し、精度・再現率・F1スコア・AUC-ROCなどのモデル品質メトリクスを自動計算します。計算されたメトリクスはCloudWatchに発行され、アラームしきい値を設定することでEventBridgeルールを介してSageMaker Pipelinesの再トレーニングを自動トリガーできます。グラウンドトゥルースが四半期ごとに確定するユースケースに対しモニタリングスケジュールを調整することも可能です。

選択肢AのData Quality MonitorはAPIへの入力データの統計的品質（特徴量の欠損・分布変化）を検出するサービスであり、グラウンドトゥルースと予測を比較して精度・再現率・F1スコアを算出する機能は持たない。
選択肢BのSageMaker Clarifyによるバイアスドリフトモニタリングは、センシティブ属性に基づく予測の公平性指標（不均等影響など）の変化を検出するサービスで、精度・再現率・F1スコアなどのモデル品質指標の監視には対応していない。
選択肢DのSageMaker DebuggerはTraining Jobのデバッグ・プロファイリングツールであり、本番エンドポイントにデプロイ後の推論精度劣化の継続的モニタリングには使用できない設計になっている。

Answer

Data Quality Monitorジョブを設定しエンドポイントへの入力データ特徴量分布が訓練時ベースラインから逸脱した際にCloudWatchアラームを発報する — Data Quality Monitorは入力データの特徴量分布の変化（データドリフト）を検出するサービスで、グラウンドトゥルースとの比較による予測精度（F1スコアなど）の劣化検出には対応していない。

Answer

SageMaker Clarifyによるバイアスドリフトモニタリングを設定し予測分布のグループ間公平性指標の変化を定期的に計算して検出する — SageMaker ClarifyのBias Drift Monitorはグループ間の公平性指標の変化を監視するサービスで、精度・再現率・F1スコアなどのモデル品質メトリクスの計算・監視とは異なる目的を持つ。

Answer

SageMaker Debuggerのカスタムルールを実装してエンドポイントの出力スコア分布が統計的閾値を逸脱した際にSNSアラームを発報する — SageMaker Debuggerはトレーニング中の勾配・損失関数のデバッグに特化したツールで、本番エンドポイントのグラウンドトゥルースとの精度比較やF1スコア監視には使用できない設計。

解説

解説