DEAデータの取り込みと変換
ある動画配信会社は、オンプレミスでApache Kafkaクラスターを運用し、ユーザーの視聴ログをリアルタイムに処理しています。AWSへの移行にあたり、以下の要件があります。
・既存のKafkaプロデューサーおよびコンシューマーアプリケーションのコード変更を最小限に抑えたい
・ブローカーのパッチ適用やスケーリングなどのインフラ管理作業を削減したい
・Kafkaのコンシューマーグループおよびオフセット管理の仕組みを維持したい
・1日数TBのスループットに対応できるスケーラビリティが必要
この要件を最も適切に満たすAWSサービスはどれですか？
AAmazon Kinesis Data Streams を使用してリアルタイムデータを処理する
Kinesis Data StreamsはKafka APIと互換性がなく、プロデューサー/コンシューマーコードの書き直しが必要です。シャードベースのスケーリングはKafkaパーティションとは設計思想が異なります。
BAmazon SQS FIFO キューを使用してメッセージを順序保証付きで配信する
SQS FIFOキューはメッセージキューサービスであり、Kafkaのコンシューマーグループやオフセット管理の概念とは根本的に異なります。分散ストリーム処理ユースケースには適していません。
CAmazon Managed Streaming for Apache Kafka（Amazon MSK）を使用する
✓ 正解
Amazon MSKはApache Kafkaの完全マネージドサービスで、標準Kafka APIと完全互換性があります。既存のKafkaプロデューサー/コンシューマーコードをそのまま利用でき、コンシューマーグループやオフセット管理の仕組みも維持されます。ブローカーのプロビジョニング・パッチ適用・スケーリングをAWSが管理し、運用負荷を大幅に削減できます。
DAmazon Data Firehose を使用してS3に直接データを配信する
Amazon Data FirehoseはS3等へのデータ配信専用サービスで、コンシューマーが任意のオフセットからデータを再読み取りするKafkaの仕組みを持ちません。
解説
Amazon MSKはApache Kafkaの完全マネージドサービスで、標準Kafka APIと完全互換性があります。既存のKafkaプロデューサー/コンシューマーコードをそのまま利用でき、コンシューマーグループやオフセット管理の仕組みも維持されます。ブローカーのプロビジョニング・パッチ適用・スケーリングをAWSが管理し、運用負荷を大幅に削減できます。
選択肢AのKinesis Data StreamsはKafka APIと互換性がなく、プロデューサー/コンシューマーコードの書き直しが必要です。シャードベースのスケーリングはKafkaパーティションとは設計思想が異なります。
選択肢BのSQS FIFOキューはメッセージキューサービスであり、Kafkaのコンシューマーグループやオフセット管理の概念とは根本的に異なります。分散ストリーム処理ユースケースには適していません。
選択肢DのAmazon Data FirehoseはS3等へのデータ配信専用サービスで、コンシューマーが任意のオフセットからデータを再読み取りするKafkaの仕組みを持ちません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →