DEAデータオペレーションとサポート
あるデータエンジニアリングチームは、AWS Glue ETLジョブを使用してAmazon S3からデータウェアハウスへデータを変換・ロードするパイプラインを運用しています。取り込まれるデータの品質を保証するため、「特定カラムのNULL率が5%以下」「数値カラムが指定範囲内」といった品質ルールを定義し、ルール違反が発生した場合はパイプラインを自動停止させたいと考えています。AWSのネイティブ機能を活用した最も適切なアプローチはどれですか？
AAWS Lambda関数でカスタム検証ロジックを実装し、AWS Step Functionsを使ってGlue ETLジョブの前後に検証ステップとして実行する
AWS LambdaとStep Functionsの組み合わせで検証は可能だが、カスタムコードの実装・保守が必要であり、AWSネイティブ機能の活用という観点では最適ではない。
BAWS Glue Data Qualityのルールセットを定義してGlue ETLジョブに組み込み、NULL率や値範囲のルール違反時にジョブを自動停止させる
✓ 正解
AWS Glue Data Qualityは、DQDLでNULL率・値範囲・一意性などのルールを定義してETLジョブに組み込み、ルール違反時にジョブを失敗させられるAWSネイティブの品質管理機能。
CAmazon CloudWatch メトリクスを使用してGlueジョブが処理するレコード数を監視し、予期しない減少が発生したときアラームを発行する
CloudWatch MetricsはGlueジョブの処理レコード数や実行時間を監視できるが、NULL率や値範囲といった細かいデータ品質ルールを検証・適用する機能は持たない。
DAWS Glue Crawlerを定期的に実行してデータカタログのスキーマを検証し、変更や異常が検出された場合にSNS通知を送信する
Glue CrawlerはデータストアをスキャンしてスキーマをData Catalogに登録・更新するサービスであり、NULL率や値範囲の品質ルールを検証する機能は持たない。
解説
AWS Glue Data Quality は、DQDL（Data Quality Definition Language）を使ってNULL率・値範囲・重複チェックなどのルールを定義し、Glue ETLジョブに直接組み込める機能です。ルール評価結果に基づいてジョブを失敗させる設定が可能なため、品質基準を満たさないデータがダウンストリームに流れるのを防ぐことができます。
選択肢AのAWS Lambdaは検証ロジックを実装できるが、カスタムコードの開発・テスト・保守が必要であり、「AWSのネイティブ機能」の活用という観点で最適ではない。
選択肢CのAmazon CloudWatch メトリクスはジョブの処理レコード数を把握できるが、NULL率や値範囲などのデータ品質ルールを直接検証する機能を持たない。
選択肢DのAWS Glue Crawlerはスキーマの自動検出と更新に使用するサービスであり、NULL率や値範囲の検証といったデータ品質チェック機能はない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →