MLA機械学習のためのデータ準備
あるデータエンジニアリングチームは、毎日Amazon S3に取り込まれる学習用データセットに対し、トレーニングに渡す前に「特定カラムのnull率が5%未満」「数値カラムが想定範囲内」などの整合性チェックを自動実行したいと考えています。チェックルールを宣言的に定義し、結果をパイプラインに組み込んでCloudWatchで監視できる、コーディングを最小限に抑えた仕組みが求められています。最も適したサービスはどれですか。
AAWS Glue Data Quality を使い、DQDLでルールを定義してデータ品質スコアとメトリクスを自動評価する
✓ 正解
Glue Data Quality は DQDL でnull率・範囲・一意性などのルールを宣言的に定義し、品質スコアを自動算出して CloudWatch に出力できる。パイプラインに品質ゲートとして組み込めるため、最小限のコーディングで自動チェックを実現できる。
BAmazon Athena で品質チェック用のSQLクエリを手動作成し、結果を都度目視で確認する
Athena でのSQLチェックは手動作成と目視確認が前提となり、宣言的ルール定義・自動化・継続監視という要件を満たせない。日次パイプラインへの組み込みにも追加実装が必要となる。
CAWS Lambda にPythonの検証ロジックを実装し、S3イベントごとにカスタムチェックを実行する
Lambda はカスタムPythonロジックの実装と保守が必要で、コーディングを最小限にしたいという要件に反する。ルールが増えるほどコードが肥大化し、宣言的な品質定義の利点も得られない。
DAmazon SageMaker Model Monitor を有効化し、学習前データの品質ベースラインを継続監視する
Model Monitor は本番推論エンドポイントのデータドリフトや品質を監視する機能であり、S3取り込み時の学習データに対する整合性ルール評価という用途には設計されていない。
解説
AWS Glue Data Quality は、Data Quality Definition Language（DQDL）でデータ品質ルールを宣言的に記述できるマネージドサービスです。null率・一意性・値の範囲・行数などのルールを定義し、Glue ジョブやデータカタログに統合してデータ品質スコアを自動算出します。結果は CloudWatch メトリクスとして出力でき、パイプライン内で品質ゲートとして機能させられるため、最小限のコーディングで整合性チェックを自動化できます。
選択肢Bの Amazon Athena は手動SQLと目視確認が前提で、自動化・継続監視の要件を満たしません。
選択肢Cの AWS Lambda はカスタム実装が必要でコーディングが増え、宣言的ルール定義という要件に反します。
選択肢Dの SageMaker Model Monitor は本番エンドポイントの推論データドリフト監視が主目的で、取り込み時のデータ品質ルール評価には適しません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →