無限ノック › MLA 練習問題一覧 › 問題
MLAMLソリューションの監視、メンテナンス、セキュリティ

あるMLチームは、SageMaker リアルタイムエンドポイントで本番稼働中の需要予測モデルを運用しています。最近、予測精度が低下していることに気づきました。SageMaker Model Monitor を使用してデータドリフト(入力データの統計的分布の変化)を検出・アラート通知するために、最初に行うべき設定として最も適切なものはどれですか?

A
モデルのトレーニングデータから統計情報とスキーマを含むベースライン(基準値)を生成し、エンドポイントにデータキャプチャを設定してモニタリングスケジュールを作成する
✓ 正解
SageMaker Model Monitor でのデータドリフト検出の標準手順であるベースライン統計生成→データキャプチャ有効化→モニタリングスケジュール作成の3ステップがマネージドサービスとして統合されており、最小限の設定で入力データの分布変化を自動検出できます。
B
CloudWatch カスタムメトリクスを手動で定義し、エンドポイントへの推論リクエストを Lambda 関数でサンプリングして統計値を計算・送信する
CloudWatch カスタムメトリクスと Lambda による手動実装は、統計値の計算ロジックの開発・保守が必要で運用負荷が高く、SageMaker Model Monitor のマネージド機能で実現できる自動ドリフト検出の利点を活かせない非効率な方法です。
C
SageMaker Clarify を使用してリアルタイムの特徴量重要度を計算し、重要度スコアが閾値を下回った場合に SNS 通知を送信する
SageMaker Clarify はモデルの説明可能性(特徴量重要度・公平性分析)を提供するツールであり、特徴量重要度スコアの閾値監視は入力データの統計的分布変化の検出とは異なる概念で、Model Monitor の代替にはなりません。
D
SageMaker Experiments でトレーニング時のメトリクスを記録し、本番の推論メトリクスと定期的に比較するバッチジョブを EventBridge でスケジュールする
SageMaker Experiments はトレーニング実験のメトリクス記録・比較ツールであり、本番推論データのドリフト検出には使用できません。EventBridge でのバッチ比較は手動設定の運用負荷が高く、リアルタイム性にも欠けるため要件を満たしません。

解説

SageMaker Model Monitor でデータドリフトを検出する正しい手順は、①トレーニングデータからベースライン統計(各特徴量の分布情報)を生成し、 ②エンドポイントのデータキャプチャを有効化して推論入力データを S3 に保存し、 ③モニタリングスケジュールを作成してベースラインとの乖離を自動検出する流れです。これが SageMaker Model Monitor の標準的な設定手順です。 選択肢Bの CloudWatch カスタムメトリクスと Lambda による手動実装は、統計値の計算ロジックの開発・保守が必要で運用負荷が高く、SageMaker Model Monitor のマネージド機能を活用しない非効率な方法です。 選択肢Cの SageMaker Clarify は、モデルの説明可能性(特徴量重要度・公平性分析)を提供するツールであり、入力データの統計的分布変化(データドリフト)を自動検出するためのツールではありません。 選択肢Dの SageMaker Experiments はトレーニング実験のメトリクスを記録・比較するツールであり、本番推論データのリアルタイムなドリフト検出には使用できません。EventBridge でのバッチ比較は運用負荷が高く、リアルタイム性にも欠けます。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← MLA の問題一覧に戻る