ある企業はAmazon MSK(Managed Streaming for Apache Kafka)を使用して、複数のマイクロサービスからイベントデータをリアルタイムで収集しています。収集したデータをAmazon S3データレイクに継続的にアーカイブしたいと考えています。要件は以下のとおりです。 ・Kafkaコンシューマーアプリケーションのコーディングやインフラ管理を不要にする ・S3バケットのプレフィックスをKafkaトピック名と日付(YYYY/MM/DD)で自動的に階層化する ・スループットの増減に応じてコネクターが自動スケールする 最も運用負担が少ない構成はどれですか?
Amazon MSK ConnectはApache Kafka Connectのフルマネージドサービスで、ワーカーのプロビジョニング・パッチ適用・スケーリングをAWSが管理します。S3 Sink Connectorプラグインを使用するとKafkaトピックのデータをS3に自動書き込みでき、プレフィックスパターン(トピック名・年月日)もコネクター設定で制御可能です。AUTOSCALINGキャパシティモードではスループットに応じてワーカーが自動増減するため、インフラ運用が不要になります。 選択肢AのEC2上のKafka Connectは同等の機能を実現できますが、EC2インスタンスの管理・パッチ適用・スケーリング設定をすべて自前で行う必要があり、運用負担が大きくなります。 選択肢CのAWS Glue Streaming ETLはデータ変換・エンリッチメントが必要なシナリオに適していますが、単純なS3アーカイブにはオーバースペックであり、MSK Connectと比べて設定・管理が複雑です。 選択肢DのAmazon EventBridgeパイプは大量ストリームデータの継続的なS3階層化アーカイブにはスループット面・コスト面で適しておらず、自動スケーリングの実現も複雑になります。