データエンジニアチームはS3に毎時追加される新しいログファイルをGlue ETLジョブで処理している。ジョブが再実行されると既処理ファイルも再度読み込まれて出力に重複データが発生している。追加のインフラ実装を最小化して解決するにはどれか。
AWS Glue ジョブブックマークは前回実行時の処理済みS3オブジェクトを自動追跡し、次回実行時に未処理データのみを読み込む組み込み機能。追加インフラ不要で増分処理を実現する。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。