解説

AWS GlueのJob Run InsightsとSpark UI（イベントログ）は、ジョブのステージ・タスク単位の実行時間、シャッフル量、エグゼキュータのCPU/メモリ使用率を可視化します。 特定タスクだけが極端に長い場合はデータスキュー、全体的にリソースが逼迫していればエグゼキュータ不足、というようにボトルネックの原因を切り分けでき、追加の計装なしで最小運用で分析できます。 選択肢BのLogs Insightsはエラーログの集計には有効だが、ステージ別の所要時間やリソース使用率は得られず性能要因の切り分けに使えない。 選択肢CのData Qualityは入力データの品質検証機能であり、Sparkの実行性能やスキューの分析とは目的が異なる。 選択肢DのCloudTrailはAPI呼び出しの監査ログでありジョブ起動の記録は残るが、内部のステージ実行やエグゼキュータ使用率は記録されない。