DEAデータオペレーションとサポート
データエンジニアが、AWS Glue ETLジョブ、Amazon EMRステップ、およびAWS Lambda関数を含む複雑なデータ処理パイプラインを構築しています。このパイプラインでは、前段のタスクの結果に基づいて条件分岐(Choice)を行い、特定のエラー時には再試行し、複数の非同期処理を並行(Parallel)または配列データに対して反復(Map)実行する必要があります。この高度なオーケストレーションに最も適したAWSサービスはどれですか。
AAWS Glueワークフローを使用して、クローラとETLジョブの依存関係と条件分岐を定義する
AWS GlueワークフローはGlue内のETLジョブやクローラの依存関係を管理するのには適していますが、LambdaやEMRなど他のAWSサービスを統合した複雑なループ処理や高度な条件分岐などの状態管理機能は提供していません。
BAWS Step Functionsを使用してステートマシンを定義し、各データ処理タスクを統合する
✓ 正解
AWS Step Functionsは、Choice、Task、Map、Parallelなどの多様なステートをネイティブにサポートしており、Lambda、EMR、Glueなどの複数のAWSサービスをまたぐ複雑なETLオーケストレーションに最適です。
CAmazon EventBridgeを使用して、各ジョブの完了イベントをトリガーとするルールを作成する
Amazon EventBridgeによるイベント駆動型のアプローチはシンプルですが、複雑な条件分岐、配列に対する反復処理(Map)、エラー時の再試行などの全体的な状態遷移を可視化して管理・追跡するオーケストレーションツールではありません。
DAWS Data Pipelineを使用して、タスクランナー間で並行処理と再試行ロジックを構成する
AWS Data Pipelineはレガシーなデータワークフローオーケストレーションサービスであり、高度な分散アプリケーションのフロー制御やサーバーレスサービスの統合という観点ではStep Functionsの方が現在推奨されるベストプラクティスです。
解説
AWS Step Functionsは、複数のAWSサービス(Glue、EMR、Lambdaなど)を組み合わせた複雑なワークフローを構築するためのサーバーレスオーケストレーションサービスです。ステートマシンを通じて、Task(タスクの実行)、Choice(条件分岐)、Parallel(並列実行)、Map(配列の反復処理)などの状態(ステート)をネイティブに管理でき、エラーハンドリングやリトライのロジックも組み込むことができます。AWS GlueワークフローはGlue内のリソース(ジョブ、クローラ、トリガー)の依存関係管理には適していますが、他のAWSサービスを統合した複雑な反復・並列・状態管理機能は不足しています。EventBridgeはイベント駆動ルーティング用であり、状態やステップの視覚的な管理には不向きです。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →