ある製造企業は、工場のIoTセンサーから毎秒5,000件のストリームデータを収集し、S3にParquet形式でセンサー種別・日付ごとにパーティション化して蓄積したい。変換・パーティション分割・S3配信を追加のコンピューテ

Question

ある製造企業は、工場のIoTセンサーから毎秒5,000件のストリームデータを収集し、S3にParquet形式でセンサー種別・日付ごとにパーティション化して蓄積したい。変換・パーティション分割・S3配信を追加のコンピューティング管理なしに実現する最適な構成はどれか。

Accepted Answer

正解: Amazon Data Firehose の動的パーティショニングと組み込みフォーマット変換を有効化し、S3へ直接配信する。Amazon Data Firehose は追加コンピューティング不要でParquet変換と動的パーティショニングを標準搭載し、S3への直接配信とバッファリングを自動管理するマネージドサービス。

Answer

Kinesis Data Streams に取り込み、Lambda 関数でParquet変換後にパーティション別S3パスへ書き込む — Kinesis Data Streams とLambda の組み合わせは処理可能だが、Lambdaのスケール管理・エラー処理・パーティション書き込みロジックの実装が必要で運用負荷が高い。

Answer

Amazon MSK クラスターに取り込み、Kafka Connect S3 Sinkコネクタでパーティション分割してS3へ出力する — Amazon MSK は高スループットKafkaクラスターを提供するが、クラスター管理とKafka Connect設定・維持が必要で運用負荷が高い。

Answer

AWS Glue Streaming ETL ジョブを使い、Kinesis Data Streamsのデータを読み込んでParquet化しS3に書く — AWS Glue Streaming ETL はSparkベースで変換処理は可能だが、DPU管理とジョブ常時稼働によるコスト・運用オーバーヘッドが生じる。

解説