SAA高性能なアーキテクチャの設計
ある IoT 企業が、数百万台のデバイスから送られるテレメトリデータを Amazon S3 に集約し、ニアリアルタイムで Parquet 形式へ変換・圧縮して保存したうえで、Amazon Athena で分析しています。ストリーミングの取り込みからフォーマット変換、S3 への配信までを、できる限りフルマネージドかつ最小の運用負荷で実現したいと考えています。最も適切な構成はどれですか。
AAmazon Data Firehose を使用し、レコード形式変換で Parquet に変換して S3 へ配信する
✓ 正解
Amazon Data Firehose はフルマネージドで、レコード形式変換により Glue Data Catalog のスキーマを用いて Parquet へ変換・圧縮し S3 へ自動配信します。シャードやコンシューマの実装が不要で、取り込みから配信まで最小運用負荷で実現できます。
BAmazon Kinesis Data Streams にデータを取り込み、コンシューマの Lambda で変換して S3 に書き込む
Kinesis Data Streams はシャード管理に加え、Parquet 変換を行うコンシューマ（Lambda 等）を自前で実装・運用する必要があります。運用負荷が高く、フルマネージドという要件に合致しません。
CAmazon MSK にデータを取り込み、MSK Connect の S3 シンクコネクタで S3 に書き込む
MSK は Kafka クラスタの運用を伴い、フォーマット変換も別コンポーネントで構成が必要です。フルマネージドかつ最小運用負荷という要件に対して管理負荷が大きく、適しません。
DAWS Glue のストリーミング ETL ジョブで継続的に変換し、S3 に Parquet 形式で書き込む
Glue のストリーミング ETL ジョブは変換ロジックの開発とジョブ運用が必要です。Firehose の組み込みフォーマット変換に比べ運用負荷とコストが増し、最小負荷の要件を満たしません。
解説
Amazon Data Firehose（旧 Amazon Kinesis Data Firehose）はフルマネージドの配信サービスで、レコード形式変換機能により Glue Data Catalog のスキーマを参照して JSON を Parquet へ変換し、圧縮して S3 へ自動配信できます。シャード管理やコンシューマの実装が不要で、取り込み・変換・配信を最小の運用負荷で実現でき、要件に最適です。
選択肢の Kinesis Data Streams はコンシューマ（Lambda 等）と Parquet 変換ロジックを自前で実装・運用する必要があり、運用負荷が高くなります。
選択肢の MSK は Kafka クラスタの運用管理を伴い、フォーマット変換も別途構成が必要でフルマネージド・最小負荷の要件に反します。
選択肢の Glue ストリーミング ETL ジョブはジョブの開発・管理が必要で、Firehose の組み込み変換に比べ運用負荷とコストが増えます。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでSAAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →