DEAデータの取り込みと変換
金融機関のデータエンジニアリングチームは、オンプレミスのOracleデータベースを業務システムの主システムとして継続運用しながら、すべてのデータ変更(INSERT・UPDATE・DELETE)を近リアルタイムでAmazon S3データレイクにレプリケーションしたいと考えています。
要件は以下の通りです。
・ソースOracleデータベースへの負荷を最小限にしたい
・DELETEオペレーションも確実にS3へ反映したい
・初期ロードと継続的なレプリケーションを1つのマネージドサービスで完結させたい
最も適切なアプローチはどれですか?
AAWS Glue ETLジョブをスケジュール実行し、last_updated_atタイムスタンプ列でフィルタリングして差分データをS3に書き出す
タイムスタンプフィルタで追加・更新は検知できますが、論理削除フラグのないDELETEは検知できません。
BAWS Database Migration Service(DMS)の変更データキャプチャ(CDC)を有効化し、初期フルロード完了後にOracleのREDOログを継続的に読み取ってS3ターゲットにレプリケーションする
✓ 正解
AWS DMSのCDCはOracleのREDOログを非侵襲的に継続読み取りし、INSERT/UPDATE/DELETEをS3に近リアルタイムでレプリケーションします。初期フルロードとCDCの組み合わせにより、初期同期から差分同期まで1サービスで完結します。
CAWS DMSのフルロードタスクを毎時スケジュール実行し、S3の新しいパーティションに書き出す
フルロードをN時間ごとに繰り返す方式でソースDBへの負荷が高く、近リアルタイム要件も満たしません。
DOracle LogMinerをオンプレミスで実行し、変更データをAmazon Data Firehose経由でS3に転送するカスタムスクリプトを開発する
LogMinerを使ったカスタム開発で技術的には実現可能ですが、マネージドサービスを使わないため運用・保守の負担が大きくなります。
解説
AWS DMSのCDCはOracleのREDOログを非侵襲的に継続読み取りし、INSERT/UPDATE/DELETEをS3に近リアルタイムでレプリケーションします。初期フルロードとCDCの組み合わせにより、初期同期から差分同期まで1サービスで完結します。
選択肢Aはタイムスタンプフィルタで追加・更新は検知できますが、論理削除フラグのないDELETEは検知できません。
選択肢CはフルロードをN時間ごとに繰り返す方式でソースDBへの負荷が高く、近リアルタイム要件も満たしません。
選択肢DはLogMinerを使ったカスタム開発で技術的には実現可能ですが、マネージドサービスを使わないため運用・保守の負担が大きくなります。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →