DEAデータの取り込みと変換
ある大手小売企業のデータエンジニアリングチームは、複数データソース(RDS・Redshift・外部REST API)を統合する数百本のDAGをオンプレミスのApache Airflow 2.xで運用しており、独自のカスタムオペレータとプラグインが多数蓄積されています。クラウド移行にあたり、既存のDAGファイルとプラグインを最小限の変更でAWS上で継続運用し、スケジューラやメタデータDBなどの基盤管理の運用負荷を削減したいと考えています。最適なサービスはどれですか?
AAmazon MWAAを使用し、既存のDAGファイルとカスタムプラグインをS3バケットにアップロードするだけでAirflow互換環境を構成する
✓ 正解
Amazon MWAAはApache Airflow 2.x互換のマネージドサービスで、DAGファイルとカスタムプラグインをS3にアップロードするだけで既存資産を最小変更で移行でき、スケジューラ等のインフラ管理負荷を排除できます。
BAWS Step Functionsを使用し、既存のAirflow DAGをステートマシン定義(ASL)に書き換えてワークフローを移行する
AWS Step FunctionsはAirflow DAGとは異なるASL(Amazon States Language)で定義するサービスであり、数百本のDAGを書き換えるには大規模な移行コストが発生し、最小変更での移行要件を満たしません。
CAmazon ECSでApache AirflowコンテナをFargate上に構築し、スケジューラ・ウェブサーバー・ワーカーを自己管理型で運用する
Amazon ECSによる自己管理型Airflowは既存DAGを移植できますが、スケジューラ・ウェブサーバー・ワーカー・メタDBの運用・バージョンアップを自前で管理する必要があり基盤管理の運用負荷が削減されません。
DAWS Glue Workflowsを使用し、既存のAirflow DAGの処理ロジックをGlueジョブとトリガーの連鎖として再実装する
AWS Glue WorkflowsはGlueジョブとクローラーの連携専用ツールであり、外部REST API連携やカスタムオペレータを含む複雑なAirflow DAGの移行先として機能が大幅に不足しています。
解説
Amazon MWAA(Managed Workflows for Apache Airflow)は、Apache AirflowをAWSが完全マネージドで提供するサービスです。Airflow 2.x互換環境を提供し、既存のDAGファイルとカスタムプラグインをS3バケットにアップロードするだけで動作させることができます。requirements.txtによる追加ライブラリのインストールもサポートされており、既存のAirflow資産を最小限の変更で移行しつつ、スケジューラ・ワーカー・メタデータDBの管理負荷を排除できます。
選択肢BのAWS Step Functionsは優れたワークフローサービスですが、Airflow DAGとは設計思想が異なり、数百本のDAGをASL形式に書き換える大規模な移行コストが発生して最小限の変更という要件を満たしません。
選択肢CのAmazon ECS(Fargate)による自己管理型Airflowは、スケジューラ・ウェブサーバー・ワーカー・メタデータDBの構築・運用・バージョンアップを自前で管理する必要があり、運用負荷削減の要件に反します。
選択肢DのAWS Glue WorkflowsはGlueジョブ・クローラー間の連携に特化しており、外部REST API連携や複雑なカスタムオペレータを含む既存Airflow DAGの移行先としては機能が大幅に不足しています。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →