DEAデータストアの管理
ある金融サービス企業は、Amazon S3上にParquet形式で数十TBの取引履歴データを保管しています。
GDPR対応で特定顧客の全レコードを物理削除する必要があり、
さらに監査要件として過去の任意時点へのロールバック(タイムトラベル)、
そして将来的なカラム追加や型変更を既存ファイルの全件再書き込みなしに行うスキーマ進化への対応も求められています。
これらすべての要件を最も効率的に満たす実装はどれか。
AAmazon S3バージョニングを有効化し、Parquetファイルを更新する際に以前のバージョンをアーカイブとして保持する
S3バージョニングはオブジェクト(ファイル)単位の世代管理機能です。Parquetファイル内の特定顧客レコードを削除する機能はなく、GDPRの物理削除要件やスナップショットベースのタイムトラベルクエリには対応できません。
BApache Iceberg形式のテーブルをS3上で管理し、AWS Glue Data Catalogにメタデータを統合登録する
✓ 正解
Apache IcebergはACIDトランザクション(行レベルDELETE/UPDATE)、スナップショットを用いたタイムトラベル、スキーマ進化をネイティブサポートします。Glue Data Catalogと統合することでAthenaやEMRから直接操作でき、設問の要件をすべて効率的に満たせます。
CAmazon DynamoDBにデータを移行してGDPR削除にはDeleteItem APIを使い、定期的にS3エクスポートで履歴を保持する
DynamoDBは行レベルのCRUD操作が得意ですが、数十TBの分析データを保管してOLAPクエリを実行するアーキテクチャはコストが非常に高く、タイムトラベルやスキーマ進化のネイティブサポートもありません。
DAmazon Redshiftに全データをロードし、DELETE文でGDPR削除を実行してスナップショットで時点管理を行う
Redshiftは数十TBのデータウェアハウス用途に適していますが、S3上の既存Parquetファイルを維持しながらタイムトラベルやスキーマ進化を柔軟に行う機能はIcebergほど強力でなく、全データの移行コストも大きくなります。
解説
Apache IcebergはS3上でOLAP規模のデータを管理するオープンテーブルフォーマットで、行レベルのACIDトランザクション(INSERT/UPDATE/DELETE)、スナップショットを利用したタイムトラベルクエリ、後方互換性のあるスキーマ進化をネイティブにサポートします。AWS Glue Data Catalogに登録することでAthena・EMR・Glueから直接Icebergテーブルを操作でき、特定顧客レコードの物理削除、任意時点へのロールバック、カラム追加・型変更を既存ファイルを全件書き直さずに実現できます。
選択肢AのS3バージョニングはオブジェクト単位の世代管理であり、Parquetファイル内の特定行を削除する機能はありません。GDPRの物理削除要件やタイムトラベルクエリには対応できません。
選択肢CのAmazon DynamoDBは行レベルの削除が可能ですが、数十TBの分析データに対してOLAPクエリを実行することは想定されておらず、コストが大幅に増大します。スキーマ進化やタイムトラベルのネイティブサポートもありません。
選択肢DのAmazon Redshiftは大規模DWH用途に適していますが、S3上のデータレイクとしての柔軟な運用やIcebergのようなタイムトラベル・スキーマ進化機能は持たず、全データ移行のコストも高くなります。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →