無限ノック › DEA 練習問題一覧 › 問題DEA データの取り込みと変換
あるデータエンジニアリングチームは、Amazon S3上のデータレイクで顧客マスターデータを管理しています。以下の要件があります。
(1) 顧客の住所更新や退会処理のためにUPDATE/DELETE操作ができること
(2) 誤ったデータ更新が発生した際に特定の過去時点のデータに戻せるタイムトラベル機能
(3) Amazon AthenaおよびAWS Glue ETLジョブの両方からネイティブにアクセスできること
これらすべての要件を満たすS3データレイクのテーブル形式として最も適切なものはどれですか?
A Apache Parquet形式(Hiveスタイルパーティショニング)をAWS Glue Data Catalogで管理する
「Apache Parquet形式(Hiveスタイルパーティショニング)をAWS Glue Data Catalogで管理する」はParquetは優れたカラム型ストレージフォーマットですが、それ自体はUPDATE/DELETEやタイムトラベルをサポートしません。これらの機能にはIceberg等のテーブルフォーマット層が別途必要です。
B Apache Iceberg テーブル形式をAWS GlueおよびAmazon Athenaで使用する
✓ 正解
Apache IcebergはACIDトランザクション・行レベルのUPDATE/DELETE・タイムトラベル(スナップショット管理)・スキーマ進化をサポートするオープンテーブル形式です。AWS GlueとAmazon Athenaの両方でネイティブサポートされており、Glue Data Catalogと統合されているため追加設定なしにシームレスなアクセスが可能です。AWSが現在推奨するオープンテーブル形式です。
C Apache Hudi テーブル形式をAWS Glueで書き込み、AthenaからSymlink Manifestファイル経由でアクセスする
「Apache Hudi テーブル形式をAWS Glueで書き込み、AthenaからSymlink Manifestファイル経由でアクセスする」はApache HudiもACID操作とタイムトラベルをサポートしますが、AWSのGlue・AthenaエコシステムにおけるネイティブサポートはIcebergが最も成熟しており、AthenaでのHudiへの書き込みはIcebergと比べてサポートが限定的です。
D Delta Lake テーブル形式をAWS Glueのオープンソースコネクター経由で使用する
「Delta Lake テーブル形式をAWS Glueのオープンソースコネクター経由で使用する」はDelta LakeはAWSサービスでのネイティブサポートが最も限定的です。AthenaからのDelta Lakeテーブルへの書き込みはサポートされておらず、IcebergよりもAWSエコシステムとの統合が劣ります。
解説 Apache IcebergはACIDトランザクション・行レベルのUPDATE/DELETE・タイムトラベル(スナップショット管理)・スキーマ進化をサポートするオープンテーブル形式です。AWS GlueとAmazon Athenaの両方でネイティブサポートされており、Glue Data Catalogと統合されているため追加設定なしにシームレスなアクセスが可能です。AWSが現在推奨するオープンテーブル形式です。
選択肢Aの「Apache Parquet形式(Hiveスタイルパーティショニング)をAWS Glue Data Catalogで管理する」はParquetは優れたカラム型ストレージフォーマットですが、それ自体はUPDATE/DELETEやタイムトラベルをサポートしません。これらの機能にはIceberg等のテーブルフォーマット層が別途必要です。
選択肢Cの「Apache Hudi テーブル形式をAWS Glueで書き込み、AthenaからSymlink Manifestファイル経由でアクセスする」はApache HudiもACID操作とタイムトラベルをサポートしますが、AWSのGlue・AthenaエコシステムにおけるネイティブサポートはIcebergが最も成熟しており、AthenaでのHudiへの書き込みはIcebergと比べてサポートが限定的です。
選択肢Dの「Delta Lake テーブル形式をAWS Glueのオープンソースコネクター経由で使用する」はDelta LakeはAWSサービスでのネイティブサポートが最も限定的です。AthenaからのDelta Lakeテーブルへの書き込みはサポートされておらず、IcebergよりもAWSエコシステムとの統合が劣ります。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →