大手メディアグループが、オンプレミスデータセンターで7年間稼働する大規模Hadoopエコシステムのクラウド移行プロジェクトを開始しました。現在の構成は以下の通りです。 ・150ノードのHadoopクラスター（HDFS容量：600TB） ・Apache HiveによるHiveQL形式のデータ処理クエリ（社内BIチームが日常的に使用） ・Apache Spark on YARNによるバッチジョブ（1日50〜80ジョブ、実処理時間は1日8時間程度） ・クラスターは24時間稼働しているが、夜間は16時間ほどアイドル状態が続く ・Direct Connect（1Gbps）によるオンプレミスとAWS間の接続が確立済み 移行要件は次の通りです。 ①コンプライアンス要件として、データカタログを一元管理し、テーブルの列レベルでのアクセス制御を各BIチームごとに設定すること ②コスト最適化として、ジョブ実行中のみコンピューティングリソースに課金される構成にすること ③移行期間（約6ヶ月）は既存Hadoopクラスターとの並行稼働が必要であり、Direct Connect経由でHDFSのデータをS3に継続的に同期すること ④BIチームが使用する既存のHiveQLクエリを、可能な限り変更なしで継続実行できること これらすべての要件を満たす最適な移行アーキテクチャはどれですか？
Amazon EMR ServerlessはHiveとSparkのジョブを送信した際にのみコンピューティングリソースをプロビジョニングし、ジョブ完了後は自動解放します。1日8時間しか稼働しないワークロードに最適で、16時間分のアイドルコストが発生しないため要件②を満たします。 AWS Lake Formationは、AWS Glue Data Catalog上のデータベース・テーブル・列に対して細粒度のアクセス制御（列レベル権限）をコンソールやAPIから一元管理できます。BIチームごとの列レベルアクセス設定を自動化・一元化でき、要件①を満たします。 AWS DataSyncはHDFSソースコネクタをサポートしており、Direct Connect経由でオンプレミスHDFSからAmazon S3への継続的・増分同期を実現します。6ヶ月の並行稼働期間中に新規データをリアルタイムに近い形でS3に同期できるため要件③を満たします。EMR ServerlessはHiveランタイムをネイティブにサポートしているため、既存HiveQLの書き換えなしに継続実行が可能で要件④も満たします。 選択肢AのAmazon EMR on EC2は、マスターノードとコアノードを常時稼働させる必要があり、1日16時間分のアイドルコストが発生するため要件②を満たさない。Apache RangerをEMRクラスターに自前構成するアプローチはフルマネージドなLake Formationより運用負荷が高く、列レベルアクセス制御の一元管理に適さない。 選択肢CのAmazon RedshiftはMPP型DWHとして大規模クエリに優れるが、HiveQLとのSQL方言差異が大きくBIチームの既存クエリを大量に書き換える必要があり要件④を満たさない。Snowball Edgeはオフライン転送デバイスであり、並行稼働期間中に必要な継続的・増分データ同期には対応できないため要件③も満たさない。 選択肢DのAmazon EMR on EKSはEKSノードグループが常時稼働するためアイドルコストが発生し要件②を満たさない。AWS Transfer FamilyはSFTP・FTPS・FTPのマネージドファイル転送サービスであり、HDFSからの直接転送には対応していないためDataSyncが正しい選択となる。