あるMLエンジニアがSageMakerでディープニューラルネットワークのトレーニングを行っています。トレーニング開始後、損失が数エポックで改善されなくなり、バニシンググラディエント（勾配消失：バックプロパゲーション時に勾

Question

あるMLエンジニアがSageMakerでディープニューラルネットワークのトレーニングを行っています。トレーニング開始後、損失が数エポックで改善されなくなり、バニシンググラディエント（勾配消失：バックプロパゲーション時に勾配が極めて小さくなり、重みが更新されなくなる現象）が発生していると疑っています。トレーニングを停止させずにリアルタイムで勾配の状態を監視し、問題が検出された場合に自動的にジョブを停止したいと考えています。トレーニングコードの変更を最小限に抑えてこれを実現する最も適切なSageMaker機能はどれですか？

Accepted Answer

正解: SageMaker Debugger を使用してトレーニング中のテンソル値をキャプチャし、VanishingGradient などの組み込みルールで異常を自動検出してジョブを停止する。SageMaker Debuggerはトレーニング中のテンソル（重み・勾配・活性化）をS3に保存し、VanishingGradient・ExplodingGradientなどの組み込みルールをリアルタイムで適用します。問題が検出されるとジョブを自動停止するアクションを設定でき、コード変更も最小限です。

選択肢AのSageMaker Model Monitor はデプロイされたエンドポイントのモニタリング専用で、トレーニング中の監視には使用しません。

選択肢CのSageMaker Clarify はトレーニングデータのバイアス分析に特化しており、トレーニング中のテンソルや勾配の異常検出には対応していません。

選択肢DのSageMaker Experiments は複数のトレーニング実行を比較できるサービスですが、リアルタイムでの勾配異常検出とジョブ自動停止には対応していません。

Answer

SageMaker Model Monitor を使用する：デプロイされたエンドポイントのデータドリフトや品質を監視するサービスであり、トレーニング中のテンソルや勾配の異常検出には対応していない — SageMaker Model Monitor はデプロイされたエンドポイントのモニタリング専用で、トレーニング中の監視には使用しません。

Answer

SageMaker Clarify を使用してトレーニングデータのバイアスを分析し、モデルの収束問題を特定する — SageMaker Clarify はトレーニングデータのバイアス分析に特化しており、トレーニング中のテンソルや勾配の異常検出には対応していません。

Answer

SageMaker Experiments を使用して複数のトレーニング実行を比較し、勾配消失が起きていない設定を特定する — SageMaker Experiments は複数のトレーニング実行を比較できるサービスですが、リアルタイムでの勾配異常検出とジョブ自動停止には対応していません。

解説

解説