製薬会社がSageMaker Pipelinesを使用して創薬AIモデルの開発・運用を行っています。FDA（米国食品医薬品局：医薬品・医療機器の安全性を審査・規制する米国政府機関）の規制要件として、本番デプロイ中のモデル

Question

製薬会社がSageMaker Pipelinesを使用して創薬AIモデルの開発・運用を行っています。FDA（米国食品医薬品局：医薬品・医療機器の安全性を審査・規制する米国政府機関）の規制要件として、本番デプロイ中のモデルについて「どのデータセットを使い、どの前処理ジョブを経て、どのアルゴリズムバージョンでトレーニングされたか」を任意の時点で完全に追跡できることが義務付けられています。SageMaker Pipelinesで構築されたワークフローに対して、最小限の追加設定でこのトレーサビリティ（追跡可能性）を実現する機能はどれですか？

Accepted Answer

正解: Amazon SageMaker ML Lineage Tracking を使用する。SageMaker Pipelinesと統合されており、データセット・前処理ジョブ・トレーニングジョブ・モデル・エンドポイント間の関係を有向非巡回グラフ（DAG）として自動的に記録・追跡する。SageMaker ML Lineage TrackingはSageMaker Pipelinesと統合されており、パイプライン実行時にデータセット（Artifact）→処理ジョブ（Action）→トレーニングジョブ（Action）→モデル（Artifact）→エンドポイント（Artifact）の関係を有向非巡回グラフ（DAG）として自動的に記録します。ListAssociations・QueryLineageなどのAPIで任意のモデルの上流リソースを一括照会でき、FDA規制が求めるトレーサビリティを追加コード最小限で実現できます。

選択肢BのCloudTrailはAPIコールの監査ログは取得できますが、リソース間の依存関係グラフを構築する機能はなく、膨大なログから手動で系譜を再構築する必要があり現実的ではありません。

選択肢CのS3バージョニングとDynamoDBによる手動管理は開発・維持コストが大きく、ヒューマンエラーのリスクもあります。

選択肢DのSageMaker Experimentsは実験間のメトリクス比較・パラメータ記録に特化しており、データセットからエンドポイントまでの自動系譜グラフ構築機能は持ちません。

Answer

AWS CloudTrailを使用する。すべてのSageMaker APIコールが記録されるため、ログを解析することでモデルの作成に使われたリソースを遡って特定できる — CloudTrailはAPIコールの監査ログは取得できるが、リソース間の依存関係グラフを構築する機能はなく、膨大なログから手動で系譜を再構築する必要があり現実的でない。

Answer

Amazon S3バージョニングとDynamoDBのメタデータテーブルを組み合わせる。データセットバージョンと対応するモデルアーティファクトを手動で紐付けて管理する — S3とDynamoDBを使った手動管理で開発・維持コストが大きく、ヒューマンエラーのリスクもある。

Answer

SageMaker Experimentsを使用する。実験ごとにパラメータ・メトリクス・アーティファクトを記録でき、複数の実験を比較することで入力データとモデルの関係を追跡できる — SageMaker Experimentsは実験間のメトリクス比較・パラメータ記録に特化しており、データセットからエンドポイントまでの自動系譜グラフ構築機能は持たない。

解説

解説