マーケティングアナリティクスチームは、Google Ads・Facebook Ads・LinkedIn Adsの3つの広告プラットフォームから毎日CSVファイルを受信しています。各プラットフォームのCSVはスキーマ・列名・データ型が異なり、重複レコードや欠損値も含まれています。チームはこのデータをクリーニング(重複排除・欠損値補完)・標準化(列名統一・データ型変換)してAmazon Redshiftにロードするパイプラインを構築したいと考えています。チームはプログラミング経験が限られており、ビジュアルなローコードインターフェースを好みます。最も適切なAWSサービスはどれですか?
AWS Glue DataBrewを使用して、データプロファイル機能で品質を確認しながらビジュアルなレシピ(変換手順の定義セット)でクリーニング・標準化ルールを定義し、スケジュール実行でAmazon Redshiftにロードする。 AWS Glue DataBrewは、コードを書かずにデータのクリーニング・正規化・変換を行えるビジュアルなローコードデータ準備サービスです。データプロファイル機能で欠損値・重複・統計情報を自動検出し、250以上の組み込み変換をレシピとして定義・再利用できます。Amazon Redshiftへの直接出力もサポートしており、プログラミング経験が限られたチームに最適です。 選択肢B は Glue StudioはビジュアルなノードベースのETLツールですが、スキーマ差異の細かい処理にはPySparkカスタムスクリプトが必要となりコーディング経験が求められます。DataBrewほどデータクリーニング・プロファイリングに特化していません。 選択肢C は EMRはApache Sparkクラスターの管理とPythonコーディングが必要であり、ローコードという要件を満たしません。インフラ管理コストも高くなります。 選択肢D は Lambdaはメモリ(最大10GB)・実行時間(最大15分)の制限があり、大量CSVの処理でボトルネックになる可能性があります。またpandasによるコーディングが必要です。