MLエンジニアが、Amazon S3上の50GBのテキストデータに対してNLTK（自然言語処理ライブラリ）によるトークナイズとscikit-learnによる特徴量スケーリングを行うカスタムPythonスクリプトを実行し、

Question

MLエンジニアが、Amazon S3上の50GBのテキストデータに対してNLTK（自然言語処理ライブラリ）によるトークナイズとscikit-learnによる特徴量スケーリングを行うカスタムPythonスクリプトを実行し、前処理済みデータをS3に保存した後にSageMaker Training Jobに渡す必要があります。SageMaker Pipelinesへの組み込みやすさと依存ライブラリの確実な管理を最優先にした場合、最適な方法はどれですか？

Accepted Answer

正解: SageMaker Processing JobにNLTKとscikit-learnを含むカスタムDockerコンテナを指定し、S3の入出力パスを設定して実行する。SageMaker Processing Jobはカスタムコンテナで任意の依存ライブラリ（NLTK・scikit-learn）を確実に管理でき、S3の入出力を自動的にコンテナにマウントします。SageMaker Pipelinesの ProcessingStep として容易に組み込め、再現性の高いMLパイプラインを実現できます。
選択肢Bは、SageMaker Studio Notebookでの手動実行は自動化・再現性に欠け、SageMaker Pipelinesへのステップ組み込みができないため本番前処理パイプラインには不適切です。
選択肢Cは、AWS Lambdaは最大実行時間15分・メモリ10GBの制限があり、50GBのデータ処理には容量・時間ともに不足します。
選択肢Dは、Data WranglerのカスタムTransformはPandasベースで、NLTKやscikit-learnのカスタムスクリプトを50GB規模のデータに適用するには処理効率の面で不向きです。

Answer

SageMaker Studio Notebookのターミナルでスクリプトを手動実行し、完了後にAWS CLIで結果をS3にアップロードする — SageMaker Studio Notebookのターミナルでの手動実行は探索的な分析には有効ですが、自動化や再現性に欠けSageMaker Pipelinesのステップとして組み込めないため、パイプラインへの組み込みやすさと依存ライブラリの管理を最優先する要件を満たしません。

Answer

AWS LambdaにNLTKとscikit-learnを含むカスタムLayerを追加し、50GBのデータ前処理をLambda関数として実行する — AWS Lambdaは最大実行時間15分・メモリ10GBの制限があり、50GBのテキストデータに対してNLTKによるトークナイズとscikit-learnによるスケーリングを実行するには容量・時間ともに不足します。大規模データ処理にはProcessing Jobが適切です。

Answer

SageMaker Data WranglerのカスタムTransformブロックにNLTKとscikit-learnのロジックを記述して前処理フローを構築する — SageMaker Data WranglerはGUIベースのデータ変換ツールでカスタムTransformブロックはPandasを前提としています。NLTKやscikit-learnのカスタムスクリプトを50GB規模のデータに適用するには処理効率とメモリの面で不向きで、依存ライブラリの確実な管理も困難です。

解説

解説