無限ノック › DEA 練習問題一覧 › 問題
DEAデータの取り込みと変換

ある企業は毎晩、Amazon S3に蓄積された数テラバイトの生ログデータをApache Sparkジョブで集計・変換し、結果をS3に書き込むバッチETLパイプラインを運用しています。処理は夜間の決まった時間帯(22時〜翌2時)に実行され、翌朝の業務開始までに完了すれば数十分の遅延は許容されます。このワークロードのコストを最大限に削減するための最適なAmazon EMR構成はどれですか?

A
Amazon EMR on EC2でマスターノードとコアノードをOn-Demandインスタンス、タスクノードをSpotインスタンスで構成し、インスタンスフリートで複数のインスタンスタイプを指定する
✓ 正解
夜間バッチ処理のように実行時間帯が限られており、数十分の遅延が許容できるワークロードにはSpotインスタンスが最適です。マスターノード(クラスター制御)とコアノード(HDFS=Hadoop分散ファイルシステムのデータ保持)をOn-Demandで安定性を確保しつつ、追加の処理能力を担うタスクノードのみSpotにすることでOn-Demand比最大90%のコスト削減が可能です。インスタンスフリートで複数のインスタンスタイプを指定するとSpot供給不足による中断リスクを低減できます。
B
Amazon EMR on EC2のすべてのノードをReserved Instances(1年契約)で構成し、年間コミットメントの割引を活用する
Amazon EMR on EC2のすべてのノードをReserved Instancesで構成する方法は最大72%の割引がありますが、夜間の数時間しか使用しないクラスターでは稼働率が低く、Spotと比べてコスト効率が劣ります。
C
Amazon EMR on EC2のすべてのノードをSpotインスタンスのみで構成し、Spot中断時の自動再試行をEMRに任せる
Amazon EMR on EC2のすべてのノードをSpotインスタンスのみで構成する方法は、マスターノードをSpotにするとSpot中断時にクラスター全体が失われるリスクがあります。マスターノードは最低限On-Demandにする必要があります。
D
Amazon EMR Serverlessを使用し、最大ワーカー容量(vCPU・メモリ)の上限を設定して予算を管理する
Amazon EMR Serverlessを使用し、最大ワーカー容量の上限を設定して予算を管理する方法はインフラ管理不要の利点がありますが、Spotインスタンスのような大幅なコスト削減オプションがなく、夜間大規模バッチの最大コスト削減にはEMR on EC2+Spotが有効です。

解説

夜間バッチ処理のように実行時間帯が限られており、数十分の遅延が許容できるワークロードにはSpotインスタンスが最適です。マスターノード(クラスター制御)とコアノード(HDFS=Hadoop分散ファイルシステムのデータ保持)をOn-Demandで安定性を確保しつつ、追加の処理能力を担うタスクノードのみSpotにすることでOn-Demand比最大90%のコスト削減が可能です。インスタンスフリートで複数のインスタンスタイプを指定するとSpot供給不足による中断リスクを低減できます。 選択肢BのAmazon EMR on EC2のすべてのノードをReserved Instancesで構成する方法は最大72%の割引がありますが、夜間の数時間しか使用しないクラスターでは稼働率が低く、Spotと比べてコスト効率が劣ります。 選択肢CのAmazon EMR on EC2のすべてのノードをSpotインスタンスのみで構成する方法は、マスターノードをSpotにするとSpot中断時にクラスター全体が失われるリスクがあります。マスターノードは最低限On-Demandにする必要があります。 選択肢DのAmazon EMR Serverlessを使用し、最大ワーカー容量の上限を設定して予算を管理する方法はインフラ管理不要の利点がありますが、Spotインスタンスのような大幅なコスト削減オプションがなく、夜間大規模バッチの最大コスト削減にはEMR on EC2+Spotが有効です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでDEAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← DEA の問題一覧に戻る