ある金融機関のデータパイプラインでは、毎日外部パートナーからS3に届くCSVファイルをAWS Glue ETLでRedshiftにロードしている。過去に欠損値・異常値を含むデータがロードされて障害が発生した。今後は①顧客IDのNULL率3%超②取引金額が負の値③同一取引IDの重複のいずれかを検知した場合にETLを自動停止して担当者にメール通知したい。追加インフラを最小化するには？
AWS Glue Data QualityはGlue ETLジョブにルールセットを直接組み込めるため、追加サービスなしで3種類の検証ルールを定義し、評価失敗時にジョブを停止してSNS通知まで完結できる。