あるデータエンジニアリングチームは、Amazon Data Firehose を使用してウェブサイトのクリックストリームデータをAmazon S3に配信しています。配信ストリームには動的パーティショニングが設定されており、AWS Glue Data Catalog のスキーマを使用してJSONからApache Parquetへの自動形式変換が有効化されています。最近、一部のデータがS3パーティションに届いていないことが判明しました。 根本原因を特定するために、チームが優先して監視すべきAmazon CloudWatchメトリクスの組み合わせはどれですか？
DeliveryToS3.DataFreshness は Amazon Data Firehose バッファ内の最も古いレコードの経過時間を示します。この値が上昇している場合、レコードがS3に配信されず滞留していることを意味します。FailedConversion.Records は JSON から Parquet への形式変換に失敗したレコード数を示します。動的パーティショニングと Glue Data Catalog を組み合わせた変換では、スキーマ不一致や設定ミスが変換失敗の原因となるため、両メトリクスを合わせて確認することで問題を特定できます。 選択肢BのIncomingBytesとOutgoingBytesはスループット全体の把握には有用ですが、どのレコードが変換失敗しているかや配信の滞留状況の詳細は分かりません。 選択肢CのKinesisMillisBehindLatestはKinesis Data Streams のコンシューマー遅延メトリクスであり、Amazon Data Firehose のメトリクスではありません。 選択肢DのThrottledRecordsはAmazon Data Firehoseへの書き込みスロットリングを示しますが、形式変換の失敗を検出することはできず、本ケースの根本原因特定には不十分です。