AWS Glue ジョブ、Lambda 関数、Amazon EMR の実行を条件分岐やエラー処理を含めてオーケストレーションしたいと考えています。将来的には外部 API の呼び出しも追加する予定です。最も適したサービスは

Question

AWS Glue ジョブ、Lambda 関数、Amazon EMR の実行を条件分岐やエラー処理を含めてオーケストレーションしたいと考えています。将来的には外部 API の呼び出しも追加する予定です。最も適したサービスはどれですか。

Accepted Answer

正解: AWS Step Functions。AWS Step Functions は多数の AWS サービスをまたいだワークフローを構築でき、Choice、Map、Parallel などのステートによる条件分岐や並列処理、リトライ・エラーハンドリングを標準で提供します。Glue Workflow は Glue 中心のパイプライン管理には適していますが、汎用的なアプリケーションオーケストレーションでは Step Functions の方が柔軟です。

Answer

AWS Glue Workflow — Glue Workflow は Glue ジョブやクローラー中心のパイプライン管理には便利ですが、幅広い AWS サービスの制御では Step Functions に劣ります。

Answer

Amazon EventBridge — EventBridge はイベントルーティングサービスです。複雑なワークフローや状態管理を行うサービスではありません。

Answer

Amazon Managed Workflows for Apache Airflow — MWAA は Airflow を利用する場合の選択肢ですが、今回のような AWS ネイティブなワークフロー管理では Step Functions の方が適しています。

解説