MLA機械学習のためのデータ準備

データエンジニアリングチームは、RDSからS3へデータをロードするAWS Glue ETLパイプラインを毎日実行している。欠損値の急増や型変更により下流のSageMakerトレーニングジョブが失敗する事例が複数発生したため、ETLと学習ステージの間に自動品質チェックを追加したい。品質違反を検知してもジョブを停止せずにメトリクスをCloudWatchへ発行してアラームを設定できる、最も適切なソリューションはどれか。

A
AWS Glue Data Quality でルールセットを定義し、ジョブを停止せずにCloudWatchへ品質メトリクスを発行する
✓ 正解
AWS Glue Data Quality はGlue ETLへのネイティブ統合・ノンブロッキングモード・CloudWatchメトリクス発行を標準サポートし、要件を最小構成で満たす。
B
SageMaker Processing ジョブでカスタムPythonスクリプトを実装し、品質違反をS3ログに記録してSNSで通知する
SageMaker Processing はGlue ETLと独立したリソースであり、ETLパイプラインへのインライン統合と比較して構成の複雑さが増す。
C
AWS Glue DataBrew でデータプロファイリングジョブを実行し、プロファイルレポートをS3に保存してレビューする
AWS Glue DataBrew はインタラクティブなデータ探索・変換向けサービスであり、ETLパイプラインへの自動品質ゲート組み込みには適していない。
D
Amazon Athena のスケジュールクエリで品質チェックを定義し、EventBridgeルールでSNS通知をトリガーする
Amazon Athena のスケジュールクエリはGlue ETLジョブと独立したスケジュールで動作し、ETL実行と連動したインライン品質チェックには対応しない。

解説

Glue Data Quality はGlue ETLジョブにネイティブ統合でき、ノンブロッキングモードで品質違反を検知しつつCloudWatchメトリクスに結果を発行するパイプライン内品質ゲートを実現する。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
MLA の問題一覧に戻る