無限ノック › DEA 練習問題一覧 › 問題
DEAデータの取り込みと変換

ある企業はAmazon MSK(Managed Streaming for Apache Kafka)を使用して、複数のマイクロサービスからイベントデータをリアルタイムで収集しています。収集したデータをAmazon S3データレイクに継続的にアーカイブしたいと考えています。要件は以下のとおりです。 ・Kafkaコンシューマーアプリケーションのコーディングやインフラ管理を不要にする ・S3バケットのプレフィックスをKafkaトピック名と日付(YYYY/MM/DD)で自動的に階層化する ・スループットの増減に応じてコネクターが自動スケールする 最も運用負担が少ない構成はどれですか?

A
Amazon EC2インスタンス上にApache Kafka Connectワーカークラスターを自前でデプロイし、S3 Sink Connectorを設定する
EC2上のKafka Connectは同等の機能を実現できますが、EC2インスタンスの管理・パッチ適用・スケーリング設定をすべて自前で行う必要があり、運用負担が大きくなります。
B
Amazon MSK ConnectでS3 Sink Connectorプラグインを使用し、AUTOSCALINGキャパシティモードで構成する
✓ 正解
Amazon MSK ConnectはApache Kafka Connectのフルマネージドサービスで、ワーカーのプロビジョニング・パッチ適用・スケーリングをAWSが管理します。S3 Sink Connectorプラグインを使用するとKafkaトピックのデータをS3に自動書き込みでき、プレフィックスパターン(トピック名・年月日)もコネクター設定で制御可能です。AUTOSCALINGキャパシティモードではスループットに応じてワーカーが自動増減するため、インフラ運用が不要になります。
C
AWS Glue Streaming ETLジョブでMSKをソースに指定し、変換処理なしにS3へ直接ストリーミング書き込みする
AWS Glue Streaming ETLはデータ変換・エンリッチメントが必要なシナリオに適していますが、単純なS3アーカイブにはオーバースペックであり、MSK Connectと比べて設定・管理が複雑です。
D
Amazon EventBridgeパイプを使用してMSKトピックのレコードをキャプチャし、AWS Lambdaを介してS3に保存する
Amazon EventBridgeパイプは大量ストリームデータの継続的なS3階層化アーカイブにはスループット面・コスト面で適しておらず、自動スケーリングの実現も複雑になります。

解説

Amazon MSK ConnectはApache Kafka Connectのフルマネージドサービスで、ワーカーのプロビジョニング・パッチ適用・スケーリングをAWSが管理します。S3 Sink Connectorプラグインを使用するとKafkaトピックのデータをS3に自動書き込みでき、プレフィックスパターン(トピック名・年月日)もコネクター設定で制御可能です。AUTOSCALINGキャパシティモードではスループットに応じてワーカーが自動増減するため、インフラ運用が不要になります。 選択肢AのEC2上のKafka Connectは同等の機能を実現できますが、EC2インスタンスの管理・パッチ適用・スケーリング設定をすべて自前で行う必要があり、運用負担が大きくなります。 選択肢CのAWS Glue Streaming ETLはデータ変換・エンリッチメントが必要なシナリオに適していますが、単純なS3アーカイブにはオーバースペックであり、MSK Connectと比べて設定・管理が複雑です。 選択肢DのAmazon EventBridgeパイプは大量ストリームデータの継続的なS3階層化アーカイブにはスループット面・コスト面で適しておらず、自動スケーリングの実現も複雑になります。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← DEA の問題一覧に戻る