大手製造業企業が、オンプレミスのHadoopベースデータ分析基盤をAWSネイティブのデータレークアーキテクチャへ移行・モダナイゼーションする計画を立てています。現在の環境と要件は以下の通りです。 【現在の環境】 ・Hadoopクラスター: 500ノード、HDFSデータ量 3PB ・Apache Spark: ETL処理(既存コードを最大限再利用したい) ・Apache Kafka: ストリーミングデータ取り込み(100MB/s 継続的)、50以上のプロデューサー/コンシューマーアプリケーションが稼働 ・Apache HBase: オペレーショナルデータのクエリ ・50名のデータサイエンティスト(Jupyterノートブックでインタラクティブなアドホック分析を実施) ・30の既存BIツール(JDBC/ODBCで接続) ・ネットワーク: 10Gbps Direct Connect(既設) 【移行・モダナイゼーション要件】 1. AWSネイティブのフルマネージドデータレークアーキテクチャへ移行し運用負荷を削減 2. Kafkaストリーミング取り込みを継続(プロデューサー/コンシューマーのコード変更は最小限に抑えること) 3. データサイエンティスト向けのインタラクティブSQLクエリ環境を維持 4. 既存BIツールのJDBC/ODBC接続は維持すること(BIツール自体の変更・置き換えは不可) 5. カットオーバー時のBIツールダウンタイムは4時間以内 6. データカタログと細粒度のアクセス制御によるデータガバナンスを実現 ※1 Kafka Connect:KafkaクラスターとS3・RDB等外部システムを接続するコネクタフレームワーク。既存プロデューサー/コンシューマーアプリのコード変更なしでデータ連携が可能。 ※2 Amazon Kinesis Data Streams:AWSのマネージドリアルタイムストリーミングサービス。Kafka APIとは非互換であり、移行時にコード修正が必要。 ※3 Amazon Kinesis Data Firehose:ストリームデータをS3・Redshift・OpenSearch等に自動配信するAWSマネージドサービス。Kafka APIとは直接互換ではない。 すべての要件を最も適切に満たすアーキテクチャはどれですか?
選択肢Aが正解です。 DataSyncは10Gbps Direct Connect経由で3PBを効率的に転送でき、増分同期にも対応しています(Snowball Edgeよりロジスティクスオーバーヘッドが少ない)。MSKはKafka互換APIを提供するため、50以上のプロデューサー/コンシューマーアプリのコード変更を最小化できます。Redshift+Redshift SpectrumはJDBC/ODBCをサポートし、接続先変更のみで既存BIツールを維持しつつ4時間以内のカットオーバーが可能です。Lake Formationで列・行レベルの細粒度アクセス制御を実現できます。 選択肢BはKinesis Data Streams(※2)がKafka APIと非互換のため、50以上のプロデューサー/コンシューマーアプリに大規模なコード変更が必要となり「コード変更最小化」要件に違反します。また、BIツールをRedshiftに接続するよう変更することも「BIツール変更不可」要件に違反します。 選択肢CはAmazon QuickSightへのBIツール移行が「BIツール変更・置き換え不可」要件に直接違反します。また、Kinesis Data Firehose(※3)はKafka直接互換ではなくコード変更が必要です。 選択肢DはMGNによる500ノードHadoopクラスター全体のEC2へのリフト&シフトは規模的に非現実的で、フルマネージドデータレークへのモダナイゼーション目標にも反します。