あるデータエンジニアリングチームは、AWS Glue ETLジョブを使用してAmazon S3からAmazon Redshiftにデータをロードするパイプラインを構築しています。ビジネス要件として、データのロード前に「customer_id」列にNULL値が存在しないこと、および「order_amount」列の値がすべて正の数であることをデータ品質チェックで保証する必要があります。品質チェックが失敗した場合はパイプラインを停止し、担当チームにアラートを送信しなければなりません。 この要件を最も効率的に実装する方法はどれですか？
AWS Glue Data Quality は、データパイプラインにデータ品質ルールを組み込むための専用機能です。EvaluateDataQuality 変換を使用することで、NULL値チェックや値範囲チェックなどのルールをジョブ内でネイティブに定義でき、チェック結果に基づいてジョブを失敗させたり後続処理を制御したりできます。Glue ジョブのイベント通知と Amazon SNS を組み合わせることで、品質チェック失敗時の自動アラートも実現できます。 選択肢BのGlue ジョブの PySpark スクリプト内にカスタムバリデーションコードを記述し、各レコードを検証して失敗時に例外を発生させ、CloudWatch Logs でエラーを捕捉してアラートを送信する はカスタムコードでの実装も可能ですが、開発・保守コストが高く、Glue Data Quality という専用サービスが存在するため最適ではありません。 選択肢CのGlue ジョブ完了後に AWS Lambda を起動して Redshift のロード済みデータを照会し、データ品質を後処理で検証してから Amazon SNS でアラートを送信する はデータが既に Redshift にロードされた後に検証するため、不正データが一時的にロードされるリスクがあり、「ロード前チェック」という要件を満たしません。 選択肢DのAWS Glue ジョブブックマーク（Job Bookmark）を有効にして増分処理中に無効なレコードを自動的に検出・スキップする はジョブブックマークは増分処理（処理済みデータのスキップ）のための機能であり、データ品質チェックとは無関係です。