あるチームのAWS Glue Spark ETLジョブが、入力データ量の増加に伴い処理時間が不安定になり、ワーカーのメモリ不足やデータの偏り(スキュー)が疑われている。コード変更を最小にしてボトルネックを特定したい。最も適した方法はどれか。
AWS Glue の Job Run Insights と Spark UI(ジョブモニタリング)は、エグゼキュータのメモリ使用状況やステージ/タスク単位の実行時間、データスキューを可視化できる。コード変更なしでボトルネックを特定できるため診断要件に最適。 選択肢Bの ワーカー最大化は対症的でコスト増を招く。 選択肢Cの CloudTrailデータイベントはAPI監査でジョブ内部を可視化できない。 選択肢Dの ジョブブックマークは再処理防止機能で診断には寄与しない。