あるデータエンジニアリングチームは、毎日S3バケットに追加される新しいCSVファイルをAWS Glueジョブで処理しています。現在のジョブは実行のたびにS3バケット内の全ファイルを再処理してしまい、処理時間とコストが増大しています。既に処理済みのファイルをスキップし、新規追加ファイルのみを処理するよう変更する場合、最も適切な方法はどれですか?
正解: Glueジョブのパラメータに '--job-bookmark-option job-bookmark-enable' を追加し、ジョブブックマーク機能を有効にする。 AWS Glueのジョブブックマーク(Job Bookmark)は、前回の実行で処理済みのデータを自動追跡し、次回実行時に未処理データのみを対象とするAWSマネージドの増分処理機能です。S3ファイルや各種データソースに対応しており、追加実装なしに重複処理を防止できます。 選択肢Aが正解です。'--job-bookmark-option job-bookmark-enable' パラメータを指定するだけで有効化でき、AWS側が処理状態を管理するため運用コストも低いです。 選択肢Bは誤りです。S3 Event Notificationによるトリガーはジョブの起動契機を制御しますが、ジョブ内部での増分処理ロジックを提供するものではなく、再処理の防止にはなりません。 選択肢Cは誤りです。DynamoDBを使ったカスタム実装は機能しますが、実装・保守コストが高く、ジョブブックマークで同等の目的を簡単に達成できるため最適ではありません。 選択肢Dは誤りです。Glue Crawlerは新しいテーブルやパーティションをData Catalogに登録する機能であり、ジョブ単位の増分処理制御はできません。