深層学習チームが SageMaker Training Job で大規模トランスフォーマーモデルをトレーニングしています。学習が収束しない問題が発生しており、勾配消失・勾配爆発などの訓練異常をリアルタイムで自動検出して通

Question

深層学習チームが SageMaker Training Job で大規模トランスフォーマーモデルをトレーニングしています。学習が収束しない問題が発生しており、勾配消失・勾配爆発などの訓練異常をリアルタイムで自動検出して通知したいと考えています。手動でログを監視せずにこれを実現する最も適切な方法はどれですか？

Accepted Answer

正解: SageMaker Debugger の VanishingGradient・ExplodingTensor 組み込みルールを設定し、ルール評価ステータスの変化を CloudWatch アラームで捕捉して通知する。SageMaker Debugger はトレーニング実行中のテンソルデータをフック経由でリアルタイム収集し、組み込みルール（VanishingGradient・ExplodingTensor など）で自動評価します。ルール評価結果は CloudWatch メトリクスとして発行されるため、アラームと SNS を組み合わせることでリアルタイム通知が実現します。トレーニングジョブ定義に Debugger 設定を追加するだけで有効化でき、手動ログ実装は不要です。

選択肢Bの SageMaker Experiments はグラジェント値のリアルタイム自動検出機能を持たず、手動ログが前提の実験追跡ツールです。
選択肢Cの CloudWatch Logs フィルタリングはコンテナが勾配値を明示的に標準出力する場合のみ機能し、設定が複雑でリアルタイム性も Debugger より劣ります。
選択肢Dの SageMaker Model Monitor はデプロイ済みエンドポイントへの推論データを監視するサービスであり、トレーニング中の内部テンソル異常検出には対応していません。

Answer

SageMaker Experiments でグラジェント値をトレーニングメトリクスとして手動ログし、しきい値超過時に SNS でアラート通知するよう設定する — SageMaker Experiments は実験間の比較・追跡に特化したツールであり、テンソルレベルのリアルタイム異常検出機能を持ちません。メトリクスの手動ログは事後分析向けであり、勾配消失の即時自動検出には対応できません。

Answer

トレーニングコンテナのログを CloudWatch Logs にストリームし、カスタムメトリクスフィルターとアラームで勾配値の異常を検知する — CloudWatch Logs フィルタリングはコンテナが勾配値を明示的に出力している場合のみ有効です。カスタムフィルタールールの構築が複雑で、Debugger の組み込みルールと比べて実装コストとリアルタイム性の面で劣ります。

Answer

SageMaker Model Monitor のデータ品質ジョブをトレーニングデータセットに適用し、勾配統計の異常を本番推論の前に検出する — SageMaker Model Monitor はデプロイ済みエンドポイントへのライブ推論リクエストを対象とするサービスです。トレーニング中の内部テンソルや勾配を監視する機能は持たず、この要件に対応できません。

解説

解説