DEAデータオペレーションとサポート
あるデータエンジニアリングチームは、複数のAWS GlueジョブとEMRステップから成るデータパイプラインを運用しています。各処理の実行時間・成功失敗・処理レコード数を一元的に可視化し、しきい値超過時にアラートを出したいと考えています。カスタムのメトリクスダッシュボードを構築する場合、最も適切な方法はどれですか。
A各ジョブからAmazon CloudWatchにカスタムメトリクスを発行し、ダッシュボードとアラームを構成する
✓ 正解
CloudWatchはGlueの標準メトリクスに加えPutMetricDataで処理レコード数等のカスタムメトリクスを発行でき、ダッシュボードで一元可視化しアラームでしきい値超過時に通知できるため要件全体を満たす。
B各ジョブのログをAmazon S3に出力し、Athenaで定期クエリして結果を確認する
S3出力＋Athena定期クエリはリアルタイムの可視化やしきい値アラートの仕組みを持たず、ダッシュボードも別途構築が必要なため監視要件に対して非効率で不適切。
CAWS CloudTrailのイベント履歴を参照して各ジョブの実行状況を追跡する
CloudTrailはAPI呼び出しを記録する監査サービスであり、ジョブの実行時間や処理レコード数などのパフォーマンスメトリクスは取得できないため監視ダッシュボードには使えない。
DAWS Cost Explorerでジョブごとのコスト推移を確認し処理状況を推定する
Cost Explorerはコストの分析・可視化ツールであり、処理レコード数や成否といった運用メトリクスをリアルタイムに監視・アラートする用途には適さない。
解説
Amazon CloudWatchはメトリクスの収集・可視化・アラートを統合的に提供します。Glueジョブは標準メトリクスを発行し、処理レコード数などの独自指標はPutMetricDataでカスタムメトリクスとして発行できます。これらをCloudWatchダッシュボードで一元可視化し、しきい値超過時にCloudWatchアラームでSNS通知を出せるため、要件全体を満たします。
選択肢BのAthena定期クエリは可視化・アラートの即時性に欠け、ダッシュボード機能も別途必要。
選択肢CのCloudTrailはAPI監査ログであり実行時間や処理レコード数といったパフォーマンスメトリクスは取得できない。
選択肢DのCost Explorerはコスト分析ツールであり、処理レコード数や成否のリアルタイムな運用監視には適さない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →