無限ノック › DEA 練習問題一覧 › 問題
DEAデータの取り込みと変換

あるデータエンジニアリングチームは、Amazon S3上のデータレイクで顧客マスターデータを管理しています。以下の要件があります。 (1) 顧客の住所更新や退会処理のためにUPDATE/DELETE操作ができること (2) 誤ったデータ更新が発生した際に特定の過去時点のデータに戻せるタイムトラベル機能 (3) Amazon AthenaおよびAWS Glue ETLジョブの両方からネイティブにアクセスできること これらすべての要件を満たすS3データレイクのテーブル形式として最も適切なものはどれですか?

A
Apache Parquet形式(Hiveスタイルパーティショニング)をAWS Glue Data Catalogで管理する
「Apache Parquet形式(Hiveスタイルパーティショニング)をAWS Glue Data Catalogで管理する」はParquetは優れたカラム型ストレージフォーマットですが、それ自体はUPDATE/DELETEやタイムトラベルをサポートしません。これらの機能にはIceberg等のテーブルフォーマット層が別途必要です。
B
Apache Iceberg テーブル形式をAWS GlueおよびAmazon Athenaで使用する
✓ 正解
Apache IcebergはACIDトランザクション・行レベルのUPDATE/DELETE・タイムトラベル(スナップショット管理)・スキーマ進化をサポートするオープンテーブル形式です。AWS GlueとAmazon Athenaの両方でネイティブサポートされており、Glue Data Catalogと統合されているため追加設定なしにシームレスなアクセスが可能です。AWSが現在推奨するオープンテーブル形式です。
C
Apache Hudi テーブル形式をAWS Glueで書き込み、AthenaからSymlink Manifestファイル経由でアクセスする
「Apache Hudi テーブル形式をAWS Glueで書き込み、AthenaからSymlink Manifestファイル経由でアクセスする」はApache HudiもACID操作とタイムトラベルをサポートしますが、AWSのGlue・AthenaエコシステムにおけるネイティブサポートはIcebergが最も成熟しており、AthenaでのHudiへの書き込みはIcebergと比べてサポートが限定的です。
D
Delta Lake テーブル形式をAWS Glueのオープンソースコネクター経由で使用する
「Delta Lake テーブル形式をAWS Glueのオープンソースコネクター経由で使用する」はDelta LakeはAWSサービスでのネイティブサポートが最も限定的です。AthenaからのDelta Lakeテーブルへの書き込みはサポートされておらず、IcebergよりもAWSエコシステムとの統合が劣ります。

解説

Apache IcebergはACIDトランザクション・行レベルのUPDATE/DELETE・タイムトラベル(スナップショット管理)・スキーマ進化をサポートするオープンテーブル形式です。AWS GlueとAmazon Athenaの両方でネイティブサポートされており、Glue Data Catalogと統合されているため追加設定なしにシームレスなアクセスが可能です。AWSが現在推奨するオープンテーブル形式です。 選択肢Aの「Apache Parquet形式(Hiveスタイルパーティショニング)をAWS Glue Data Catalogで管理する」はParquetは優れたカラム型ストレージフォーマットですが、それ自体はUPDATE/DELETEやタイムトラベルをサポートしません。これらの機能にはIceberg等のテーブルフォーマット層が別途必要です。 選択肢Cの「Apache Hudi テーブル形式をAWS Glueで書き込み、AthenaからSymlink Manifestファイル経由でアクセスする」はApache HudiもACID操作とタイムトラベルをサポートしますが、AWSのGlue・AthenaエコシステムにおけるネイティブサポートはIcebergが最も成熟しており、AthenaでのHudiへの書き込みはIcebergと比べてサポートが限定的です。 選択肢Dの「Delta Lake テーブル形式をAWS Glueのオープンソースコネクター経由で使用する」はDelta LakeはAWSサービスでのネイティブサポートが最も限定的です。AthenaからのDelta Lakeテーブルへの書き込みはサポートされておらず、IcebergよりもAWSエコシステムとの統合が劣ります。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← DEA の問題一覧に戻る