機械学習エンジニアが感情分析タスクのためにSageMakerで複数のモデルアーキテクチャ(BERT、RoBERTa(Robustly Optimized BERT Pretraining Approach:BERTの改良版事前学習モデル)など)と異なるハイパーパラメータの組み合わせで数十回のトレーニングランを実施しています。各ランのパラメータ・評価メトリクス・モデルアーティファクトを一元管理し、最良の設定を特定したいと考えています。最も効率的なアプローチはどれですか?
SageMaker Experiments は機械学習実験管理に特化したサービスで、実験(Experiment)と個別実行(Trial)を階層構造で管理します。各 Trial にはパラメータ・メトリクス・モデルアーティファクトが自動記録され、ExperimentAnalytics API で DataFrame として取得したり SageMaker Studio 上でビジュアル比較したりできます。 選択肢B の Amazon S3 に JSON ファイルとして保存し Amazon Athena でクエリして比較する方式では再現性管理や横断比較に課題が生じます。 選択肢C の CloudWatch カスタムメトリクスにメトリクスを送信し CloudWatch ダッシュボードで比較する方式は実験管理に特化していません。 選択肢D の Jupyter Notebook のセル内に pandas DataFrame として手動で記録する方式は再現性とセッション間の管理に課題があります。