解説

Amazon EMRはHadoop/Sparkなど主要なビッグデータフレームワークをマネージド環境で実行できるサービスです。Sparkのバージョンを自由に選択でき、任意のPythonライブラリやカスタムパッケージをブートストラップアクションで導入できます。コスト最適化のために、安定性が求められるコアノードはオンデマンドインスタンスで確保しつつ、追加の計算能力を担うタスクノードにスポットインスタンスを活用することで、オンデマンド比最大90%のコスト削減が可能です。 選択肢AのAWS GlueはフルマネージドETLサービスですが、サポートするSparkバージョンと使用可能なライブラリが制限されており、特定バージョンへのピン留めや非対応カスタムライブラリの導入は実質的に困難です。 選択肢CのAWS Batchはコンテナベースのバッチ処理に適していますが、YARNによるリソース管理・動的スケーリング・Sparkクラスター管理機能がなく、100TB規模のSparkジョブ最適化には不向きです。 選択肢DのAmazon AthenaはサーバーレスSQLクエリサービスであり、カスタムPySparkライブラリを使った複雑な機械学習前処理バッチには設計上対応していません。