あるMLエンジニアが、Amazon SageMaker Training Jobで深層学習モデルをトレーニングしています。数エポック後にトレーニング損失の改善が停滞しており、勾配消失（Vanishing Gradient

Question

あるMLエンジニアが、Amazon SageMaker Training Jobで深層学習モデルをトレーニングしています。数エポック後にトレーニング損失の改善が停滞しており、勾配消失（Vanishing Gradient）が発生しているか確認したいと考えています。問題が検出された場合はトレーニングを自動停止させたいのですが、追加コードを最小限に抑えたいと考えています。最も適切な方法はどれですか？

Accepted Answer

正解: SageMaker Debuggerのビルトインルール（VanishingGradient）を設定し、問題検出時にStopTrainingアクションが自動実行されるよう構成する。SageMaker Debuggerはトレーニング中のテンソル（重み・勾配など）をリアルタイムで収集・分析します。VanishingGradientなどのビルトインルールをEstimatorに設定するだけで、問題検出時にStopTrainingアクションを自動実行でき追加コードは最小限です。

選択肢AのModel Monitor は、デプロイされたエンドポイントのデータドリフト監視用であり、トレーニング中の問題検出には使用しません。

選択肢CのLambda+CloudWatch方式は、実現可能ですが実装コストが高くなります。

選択肢DのSageMaker Experiments は、複数のトレーニング実験を並行して実施し最も良い結果のモデルを手動で選択するため、自動停止機能を提供しません。

Answer

SageMaker Model Monitorをデプロイ済みエンドポイントに設定し、本番環境でのデータドリフトやモデルパフォーマンス劣化を継続的に監視する — Model Monitor は、デプロイされたエンドポイントのデータドリフト監視用であり、トレーニング中の問題検出には使用しません。

Answer

CloudWatch Metricsでトレーニングのカスタムメトリクスを収集し、閾値超過時にAWS Lambda関数をトリガーしてトレーニングジョブを自動停止する — Lambda+CloudWatch方式は、実現可能ですが実装コストが高くなります。

Answer

SageMaker Experimentsを使用して複数のハイパーパラメータ設定でトレーニング実験を並行実施し、最も良い結果のモデルを手動で選択する — SageMaker Experiments は、複数のトレーニング実験を並行して実施し最も良い結果のモデルを手動で選択するため、自動停止機能を提供しません。

解説

解説