フィンテック企業がオンプレミスで自己管理するApache Kafka 2.8クラスター(15ブローカー、秒間50万メッセージ)をリアルタイム不正検知パイプラインに使用しています。AWS移行の要件は以下のとおりです。 (1)既存のKafka Connectコネクター15個をそのまま流用 (2)コンシューマーグループオフセットを移行してメッセージの二重処理を防止 (3)カットオーバー時のメッセージロスゼロ (4)段階的移行によるダウンタイム最小化 (5)移行後はフルマネージドで運用負荷を削減 最も適切な移行アプローチはどれですか?
Amazon MSKはApache Kafkaの完全マネージドサービスで、既存のKafkaクライアント・API・コネクターとの100%互換性を維持する。MirrorMaker 2(Kafkaのクラスター間レプリケーションツール)はコンシューマーグループオフセットを含むトピックデータを双方向にレプリケーションでき、段階的移行中のオフセット同期が可能。これにより二重処理なしにコンシューマーをオンプレミスからMSKへ段階的に切り替えられる。Amazon MSK Connectは既存のKafka Connect互換コネクターをそのまま実行できるフルマネージドサービスで、15個の既存コネクターを再実装なしで移行できる。ダウンタイムゼロの段階移行と移行後の運用負荷削減の両立が可能な構成。 選択肢AのAWS DMSはKafkaからKinesisへの異種移行に利用できるが、KinesisはKafka APIと互換性がなくコンシューマーグループオフセットの概念が存在しないため既存アプリの書き直しが必須となり要件を満たさない。 選択肢CのAmazon EventBridgeはKafkaと根本的に異なるサーバーレスイベントルーターであり、秒間50万メッセージのスループット・コンシューマーグループ・オフセット管理・既存コネクター互換性のいずれも提供しない。 選択肢DのSnowball Edgeはオフラインデータ転送・エッジコンピューティングデバイスであり、リアルタイムKafkaクラスターの継続的移行ツールとして設計されていない。ゼロダウンタイム・段階的移行・オフセット同期の要件を実現できない。