DEAデータの取り込みと変換
あるデータエンジニアリングチームは、毎晩実行されるバッチETLを構築しています。処理は「DMSによるRDSスナップショット取り込み→3つのGlueジョブの並列変換→全完了後にRedshiftロード」という依存関係を持ち、各ステップで失敗時のリトライと条件分岐、ジョブ間のステータス受け渡しが必要です。視覚的なワークフロー定義と詳細なステップ単位のエラーハンドリングを最小の運用負荷で実現するサービスはどれですか。
AAWS Step Functionsのステートマシンで各ステップをタスクとして定義し、Parallelステートとリトライ・Catchを構成する
✓ 正解
Parallelステートで3つのGlueジョブを並列実行し全完了を同期でき、各ステートにRetryとCatchで失敗時のリトライ・条件分岐を宣言的に定義し、ステート間でJSON出力を受け渡せるため、視覚的なワークフローと最小の運用負荷で要件を満たします。
BAmazon EventBridgeのルールで各Glueジョブの完了イベントを検知し、次のジョブを順次起動する
EventBridgeはイベント駆動でジョブを連結できますが、複数ジョブの並列完了同期やステップ単位のリトライ・条件分岐ロジックを宣言的に構成するのには向かず、複雑な依存関係の管理が困難です。
CAWS Glue Workflowで複数ジョブとクローラーをトリガーで連結し、ワークフローとして実行する
Glue WorkflowはGlueジョブとクローラーの連結に特化しており、DMSによる取り込みやRedshiftロードなどGlue外のステップ統合や細かなエラーハンドリングが限定的なため、要件全体をカバーできません。
DcronスケジュールのAWS Lambda関数から各Glueジョブをboto3で順番に呼び出し制御する
Lambdaでboto3から順番に呼び出す方式では、リトライ・並列完了の同期・状態の受け渡しをすべて自前で実装する必要があり、運用負荷が最小という条件に反します。
解説
AWS Step Functionsは、複数のAWSサービスをステートマシンとしてオーケストレーションするサーバーレスサービスです。
Parallelステートで3つのGlueジョブを並列実行し、各ステートにRetry（リトライ）とCatch（エラーハンドリング）、Choice（条件分岐）を定義できます。
ステート間でJSONとして出力を受け渡せるため、ステータス伝達も容易です。ビジュアルなワークフロー定義と詳細なステップ単位の制御を最小の運用負荷で実現します。
選択肢Bの Amazon EventBridge はイベント駆動の連結はできるが、並列の完了同期やステップ単位のリトライ・条件分岐ロジックを宣言的に構成するのには不向き。
選択肢Cの AWS Glue Workflow はGlueジョブ／クローラーの連結に特化し、DMSやRedshiftロードなど他サービスとの統合や細かなエラーハンドリングは限定的。
選択肢Dの AWS Lambda による制御は、リトライや並列同期、状態管理のロジックを自前実装する必要があり運用負荷が高い。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →