無限ノック › DEA 練習問題一覧 › 問題
DEAデータの取り込みと変換

マーケティングアナリティクスチームは、Google Ads・Facebook Ads・LinkedIn Adsの3つの広告プラットフォームから毎日CSVファイルを受信しています。各プラットフォームのCSVはスキーマ・列名・データ型が異なり、重複レコードや欠損値も含まれています。チームはこのデータをクリーニング(重複排除・欠損値補完)・標準化(列名統一・データ型変換)してAmazon Redshiftにロードするパイプラインを構築したいと考えています。チームはプログラミング経験が限られており、ビジュアルなローコードインターフェースを好みます。最も適切なAWSサービスはどれですか?

A
AWS Glue DataBrewを使用して、データプロファイル機能で品質を確認しながらビジュアルなレシピ(変換手順の定義セット)でクリーニング・標準化ルールを定義し、スケジュール実行でAmazon Redshiftにロードする
✓ 正解
AWS Glue DataBrewを使用して、データプロファイル機能で品質を確認しながらビジュアルなレシピ(変換手順の定義セット)でクリーニング・標準化ルールを定義し、スケジュール実行でAmazon Redshiftにロードする。 AWS Glue DataBrewは、コードを書かずにデータのクリーニング・正規化・変換を行えるビジュアルなローコードデータ準備サービスです。データプロファイル機能で欠損値・重複・統計情報を自動検出し、250以上の組み込み変換をレシピとして定義・再利用できます。Amazon Redshiftへの直接出力もサポートしており、プログラミング経験が限られたチームに最適です。
B
AWS Glue StudioのビジュアルエディタでノードベースのETLフローを作成し、各広告プラットフォームのスキーマ差異をPySparkカスタムスクリプトノードで処理してAmazon Redshiftにロードする
Glue StudioはビジュアルなノードベースのETLツールですが、スキーマ差異の細かい処理にはPySparkカスタムスクリプトが必要となりコーディング経験が求められます。DataBrewほどデータクリーニング・プロファイリングに特化していません。
C
Amazon EMR上でApache Sparkジョブを実行し、カスタムPythonスクリプトで各広告プラットフォームのCSVを変換・標準化してAmazon Redshiftにロードする
EMRはApache Sparkクラスターの管理とPythonコーディングが必要であり、ローコードという要件を満たしません。インフラ管理コストも高くなります。
D
S3イベント通知でAWS Lambdaをトリガーし、pandas(Pythonのデータ処理ライブラリ)で各CSVファイルをクリーニング・変換してAmazon Redshiftにロードする
Lambdaはメモリ(最大10GB)・実行時間(最大15分)の制限があり、大量CSVの処理でボトルネックになる可能性があります。またpandasによるコーディングが必要です。

解説

AWS Glue DataBrewを使用して、データプロファイル機能で品質を確認しながらビジュアルなレシピ(変換手順の定義セット)でクリーニング・標準化ルールを定義し、スケジュール実行でAmazon Redshiftにロードする。 AWS Glue DataBrewは、コードを書かずにデータのクリーニング・正規化・変換を行えるビジュアルなローコードデータ準備サービスです。データプロファイル機能で欠損値・重複・統計情報を自動検出し、250以上の組み込み変換をレシピとして定義・再利用できます。Amazon Redshiftへの直接出力もサポートしており、プログラミング経験が限られたチームに最適です。 選択肢B は Glue StudioはビジュアルなノードベースのETLツールですが、スキーマ差異の細かい処理にはPySparkカスタムスクリプトが必要となりコーディング経験が求められます。DataBrewほどデータクリーニング・プロファイリングに特化していません。 選択肢C は EMRはApache Sparkクラスターの管理とPythonコーディングが必要であり、ローコードという要件を満たしません。インフラ管理コストも高くなります。 選択肢D は Lambdaはメモリ(最大10GB)・実行時間(最大15分)の制限があり、大量CSVの処理でボトルネックになる可能性があります。またpandasによるコーディングが必要です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← DEA の問題一覧に戻る