SageMaker Data Parallel Library(データ並列処理ライブラリ)を導入してトレーニングデータを複数インスタンスに分散させる
Data Parallel Library は有効な高速化手法ですが、トレーニングスクリプトへの専用 API 組み込みが必須であり、コード変更要件に反します。
解説
SageMaker Training CompilerはTensorFlow・PyTorchなどのMLフレームワークのモデルをXLA(Accelerated Linear Algebra:線形代数演算を高速化するコンパイラ技術)等を用いてGPU向けの最適化された計算グラフに自動コンパイルする機能で、コードの変更なしにトレーニング速度を最大50%改善できる。GPUメモリ使用率は十分なためコンパイル最適化が最適な選択肢となる。B: インスタンスサイズ変更はGPU数を増やすが、既存コードがデータ並列処理に対応していない限り複数GPUを自動活用できないためコスト増加のみを招く。C: Debuggerプロファイリングはボトルネック特定には有用だが、最適化自体はエンジニアによるコードの手動変更が必要となり「コードを変更しない」という要件を満たさない。D: Data Parallel Libraryは有効な高速化手法だが、トレーニングスクリプトに専用APIの組み込みが必要であり、コードの変更を伴う。