解説

AWS Glue のジョブブックマーク機能は、ジョブがどのデータまで処理済みかをAWSが自動管理します。ジョブが途中で失敗しても、再実行時はS3オブジェクトのキーと更新タイムスタンプを基に未処理データのみを処理するため、Redshiftへの重複ロードを防げます。追加の外部ストアや独自管理が不要で、最小限のインフラ変更で要件を満たせます。 選択肢BのAWS Lambda（DynamoDB連携）は実現可能ですが、DynamoDBを追加で管理する必要があり、ブックマーク機能と比べて実装・運用コストが増大します。 選択肢CのAmazon SQSによる新着ファイル管理は有効なパターンですが、ジョブ失敗時のメッセージ可視性タイムアウト管理が複雑になり、追加インフラも必要です。 選択肢DのAWS Glue クローラーはスキーマ・パーティション検出用であり、処理済みオブジェクトの状態追跡はできません。