DEAデータの取り込みと変換
ある企業は複数のAWS Glueジョブを組み合わせた複雑なETLパイプラインを構築しています。要件は以下の通りです:(1) データ取り込みジョブの完了後にデータ品質チェックジョブを実行する、(2) 品質チェックが失敗した場合はAmazon SNSで通知を送信しパイプラインを停止する、(3) 品質チェックが成功した場合のみ後続の3つの変換ジョブを並列実行する、(4) 各ステップの実行状態を可視化してモニタリングする。このすべての要件を最も効率的に実現するサービスはどれですか?
AAWS Step Functions:ステートマシンで条件分岐・並列実行・SNS統合・エラーハンドリングを定義する
✓ 正解
AWS Step Functions はAWSサービスとのネイティブ統合、ビジュアルなステートマシン、Choice状態による条件分岐、Parallel状態による並列実行、組み込みのエラーハンドリングとリトライ機能を備えており、この要件に最適なサービスです。サーバーレスで追加インフラ管理も不要です。
BAWS Glue Workflows:Glueネイティブのトリガーとワークフロー機能でジョブの依存関係を管理する
AWS Glue Workflows は、GlueジョブとCrawlerの依存関係管理には有効ですが、失敗時のSNS通知送信や複雑な条件分岐ロジックの実装には機能的な制限があります。
CAmazon Managed Workflows for Apache Airflow (MWAA):Apache AirflowのDAG(有向非巡回グラフ)でパイプラインを定義する
Amazon MWAA は、Apache Airflowベースの強力なオーケストレーターですが、ワーカーノードを含むクラスター管理が必要であり、AWSネイティブサービスだけで構成されるシンプルなパイプラインには構成が過剰になります。
DAmazon EventBridge Scheduler:スケジュールで各Glueジョブを順次起動する
Amazon EventBridge Scheduler は、定期的なスケジュール実行には適していますが、ジョブ間の成否に基づく条件分岐や依存関係の制御には対応していません。
解説
AWS Step Functions はAWSサービスとのネイティブ統合、ビジュアルなステートマシン、Choice状態による条件分岐、Parallel状態による並列実行、組み込みのエラーハンドリングとリトライ機能を備えており、この要件に最適なサービスです。サーバーレスで追加インフラ管理も不要です。
選択肢BのAWS Glue Workflows は、GlueジョブとCrawlerの依存関係管理には有効ですが、失敗時のSNS通知送信や複雑な条件分岐ロジックの実装には機能的な制限があります。
選択肢CのAmazon MWAA は、Apache Airflowベースの強力なオーケストレーターですが、ワーカーノードを含むクラスター管理が必要であり、AWSネイティブサービスだけで構成されるシンプルなパイプラインには構成が過剰になります。
選択肢DのAmazon EventBridge Scheduler は、定期的なスケジュール実行には適していますが、ジョブ間の成否に基づく条件分岐や依存関係の制御には対応していません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →