DEAデータの取り込みと変換

データエンジニアは、S3にあるJSON形式の生ログデータ(数TB)から特定カラムのみ抽出し、Parquet形式に変換してパーティション化した別S3パスへ保存したい。サーバー管理不要で最もコスト効率よく一回性の変換処理を実行するにはどれか。

A
AWS Glue ETL ジョブでJSONをParquetに変換し、パーティション別S3パスへ動的フレームとして書き出す
AWS Glue ETL ジョブはサーバーレスで変換可能だが、DPU数と実行時間に基づく課金が生じ、一回性の単純変換ではAthena CTASよりコストが高くなりやすい。
B
Amazon EMR Serverless でApache Spark ジョブを実行し、JSON読み込み・Parquet変換・S3パーティション書き込みを処理する
Amazon EMR Serverless はSparkワークロードに適するが、セッション起動オーバーヘッドと処理量課金があり、単純な一回性変換ではコスト非効率になりやすい。
C
AWS Lambda で変換ライブラリを利用してS3オブジェクトを1件ずつJSON→Parquet変換し、別パスに書き込む
AWS Lambda は15分タイムアウトとメモリ上限のためTBスケールの一括変換には不適であり、オブジェクト単位の逐次処理ではTB規模の並列管理も複雑になる。
D
Amazon Athena のCTASクエリにParquet形式とパーティション定義を指定して変換済みデータをS3に書き込む
✓ 正解
Amazon Athena のCTASはSQL1文でParquet変換・パーティション分割・S3書き込みをサーバーレス実行でき、スキャン量課金のみで一回性処理のコスト効率が最高。

解説

Athena CTASはSQL1文でJSON→Parquet変換・パーティション分割・S3書き込みをサーバーレスで実行でき、スキャンデータ量のみの従量課金で一回性処理に最もコスト効率が高い。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
DEA の問題一覧に戻る