無限ノック › SAP 練習問題一覧 › 問題
SAPワークロードの移行とモダン化の加速

ある大手メディア企業は、視聴者データ分析基盤としてオンプレミスで400ノードのHadoop/Sparkクラスターを運用しています。このクラスターの特徴: ・HDFSに25TBのデータを保持し、毎日3TBのログデータが追加される ・Apache Hive(メタストアはMySQL 5.7で稼働)でデータウェアハウス処理、Apache SparkでバッチおよびETL処理を実行 ・200本のHiveクエリと50本のPySparkジョブが本番稼働中 ・Apache Oozieでジョブスケジューリングとワークフロー管理を実施 ・クラスターの年間運用コストが$2.5M(ハードウェア保守・電力・冷却費含む) 移行要件: ・HiveクエリおよびPySparkジョブのコード変更を最小限に抑える ・既存のBIツール(Tableau)からのデータアクセス互換性を維持する ・HDFSデータを先行移行し、ジョブは段階的に移行する ・常時稼働クラスターをやめて変動する処理需要に応じたコスト最適化を実現する ・移行完了まで既存Hadoopクラスターとの並行稼働を維持する これらの要件を最も適切に満たす移行戦略はどれですか?

A
AWS DataSync エージェントをオンプレミスにデプロイしてHDFSデータをAmazon S3に継続同期する。Amazon EMRクラスターを常時起動(always-on)でデプロイし、既存のHiveメタストアはAmazon RDS for MySQL 5.7に移行して互換性を維持する。PySparkジョブとHiveクエリはコード変更なしでEMR上で実行し、Apache OozieのワークフローはAWS Step Functionsに段階的に移行する
Amazon EMRを常時起動(always-on)でデプロイする方式は「変動する処理需要に応じたコスト最適化」という移行要件に反し、オンプレミスの高コスト構造をクラウドで再現するだけになる。RDS for MySQL上のカスタムHiveメタストアはGlue Data Catalogと比べEMRとの統合が複雑で、AWS Glueの分析エコシステムとの連携メリットも享受できない。
B
AWS Snowball Edgeデバイスを使用してHDFSの25TBデータをオフラインでAmazon S3に一括転送する。PySparkジョブをAWS Lambda関数に書き換え、HiveクエリをAmazon Athena SQLに変換する。Hiveメタストアの代替にはAWS Glue Data Catalogを使用し、ジョブスケジューリングはAmazon EventBridgeで管理する。TableauはAmazon Athena JDBCドライバで接続する
PySparkジョブをAWS Lambdaに書き直す方法はLambdaの最大実行時間15分という制約から長時間のSparkバッチ処理に対応できず、「コード変更を最小限に」という要件に明確に違反する。Snowball Edgeによるオフライン一括移行は毎日3TBが追加される動的なデータ環境での継続的な差分同期には対応できない。
C
AWS DataSync エージェントをオンプレミスにデプロイしてHDFSデータをAmazon S3に継続同期し、段階的な並行稼働を維持する。AWS Glue Data CatalogをHiveメタストアの代替として設定し、HiveクエリとPySparkジョブをコード変更なしでAmazon EMR(ジョブ実行時のみ起動するTransientクラスター)上で実行する。OozieワークフローはAmazon Managed Workflows for Apache Airflow(MWAA)に移行し、TableauはAmazon Athena JDBCドライバでS3データに接続する
✓ 正解
DataSyncによるHDFSからS3への継続同期、Glue Data CatalogによるHiveメタストア代替、Transient EMRクラスターによるコスト最適化、MWAAによるOozie移行、Athena JDBCによるTableau接続という組み合わせがすべての移行要件を満たす。HiveクエリとPySparkジョブはコード変更なしでそのまま実行可能。
D
Amazon Kinesis Data Firehoseをオンプレミスに接続してHDFSデータをAmazon S3にリアルタイム転送する。PySparkジョブはAmazon EMR on EKSで実行し、HiveメタストアはAmazon DynamoDBに移行してサーバーレス化する。OozieワークフローはAWS Step Functionsに置き換え、Tableauの互換性維持のためにAmazon QuickSightへの統合・移行を実施する
Amazon Kinesis Data Firehoseはリアルタイムストリーミングデータの取り込みに特化したサービスであり、HDFSのバルクデータ移行には使用できない。HiveメタストアをDynamoDBで代替することはHive Metastore APIとの互換性がなく技術的に不可能であり、TableauをQuickSightに強制移行させることも要件外の追加作業が発生する。

解説

選択肢CのAWS DataSyncはHDFS(Hadoop Distributed File System)をソースとして直接サポートしており、オンプレミスエージェントを通じてHDFSからAmazon S3への継続的・増分的なデータ同期が可能です。毎日3TBが追加される動的なデータ環境でも、並行稼働期間中はデータを最新状態に保てます。 AWS Glue Data CatalogはApache Hive Metastore互換のAPIを提供しており、Amazon EMRはGlue Data Catalogをネイティブに統合できます。これにより既存のHiveクエリとPySparkジョブはテーブル定義の参照先変更のみで動作し、クエリ・ジョブコードの実質的な変更が不要です。 Amazon EMRのTransientクラスター戦略はジョブ実行時のみクラスターを起動して自動終了させるパターンであり、常時稼働に比べてコストを大幅に削減できます。Amazon MWAAはApache Airflowのマネージドサービスであり、OozieのDAGワークフローを移行する標準的な移行先です。TableauはAmazon AthenaのJDBC/ODBCドライバで既存接続を維持できます。 選択肢AのAmazon EMR常時起動(always-on)戦略は「変動需要に応じたコスト最適化」という要件に反し、高コスト構造をAWS上で再現するだけになる。RDS for MySQLをHiveメタストアとして使用することはGlue Data Catalog統合と比べてEMRとの連携が複雑になる。 選択肢BのAWS Snowball Edgeによるオフライン一括移行は毎日3TBが追加される動的データ環境での継続的な差分同期に対応できない。PySparkをLambdaに書き直すことはLambdaの15分実行時間制限のため長時間のSparkジョブに対応できず、「コード変更を最小限に」という要件に違反する。 選択肢DのAmazon Kinesis Data Firehoseはストリーミングデータの継続的取り込みに特化したサービスであり、HDFSのバルクデータ移行ツールとして設計されていない。HiveメタストアをDynamoDBで代替することはHive Metastore APIとの互換性がなく技術的に実現不可能であり、Tableauの強制置換も要件外となる。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでSAPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← SAP の問題一覧に戻る