Apache HudiもACIDやタイムトラベルをサポートしますが、DeltaStreamerのセットアップが別途必要なうえ、AthenaやGlue Data Catalogとのネイティブ統合はIcebergほど完成されていません。
C
Apache IcebergテーブルをAWS Glue Data Catalogに登録し、Amazon Athenaクエリエンジンv3を使用する
✓ 正解
Apache IcebergはAWSのマネージドサービスと最も緊密に統合されています。Athenaエンジンv3はIcebergのACIDトランザクション、タイムトラベル(FOR SYSTEM_TIME AS OF構文)、スキーマ進化をネイティブにサポートします。Glue Data CatalogもIcebergのメタデータを直接管理でき、別途同期の仕組みが不要です。
Delta LakeはDatabricks環境に最適化されたフォーマットであり、AWS Glue Data Catalogとのネイティブ統合が限定的で、AthenaからのACIDサポートに追加設定が必要です。
解説
Apache IcebergはAWSのマネージドサービスと最も緊密に統合されています。Athenaエンジンv3はIcebergのACIDトランザクション、タイムトラベル(FOR SYSTEM_TIME AS OF構文)、スキーマ進化をネイティブにサポートします。Glue Data CatalogもIcebergのメタデータを直接管理でき、別途同期の仕組みが不要です。
選択肢AのParquet + 手動パーティション管理はACIDトランザクションやタイムトラベルをサポートせず、並行書き込みでデータ破損のリスクがあります。
選択肢BのApache HudiもACIDやタイムトラベルをサポートしますが、DeltaStreamerのセットアップが別途必要なうえ、AthenaやGlue Data Catalogとのネイティブ統合はIcebergほど完成されていません。
選択肢DのDelta LakeはDatabricks環境に最適化されたフォーマットであり、AWS Glue Data Catalogとのネイティブ統合が限定的で、AthenaからのACIDサポートに追加設定が必要です。