無限ノック › MLA 練習問題一覧 › 問題
MLAMLモデルの開発

機械学習エンジニアが感情分析タスクのためにSageMakerで複数のモデルアーキテクチャ(BERT、RoBERTa(Robustly Optimized BERT Pretraining Approach:BERTの改良版事前学習モデル)など)と異なるハイパーパラメータの組み合わせで数十回のトレーニングランを実施しています。各ランのパラメータ・評価メトリクス・モデルアーティファクトを一元管理し、最良の設定を特定したいと考えています。最も効率的なアプローチはどれですか?

A
SageMaker Experimentsを使用して各ランをTrialとして記録し、SageMaker Studio上またはExperimentAnalytics APIでメトリクスを横断比較する
✓ 正解
SageMaker Experiments は機械学習実験管理に特化したサービスで、実験(Experiment)と個別実行(Trial)を階層構造で管理します。各 Trial にはパラメータ・メトリクス・モデルアーティファクトが自動記録され、ExperimentAnalytics API で DataFrame として取得したり SageMaker Studio 上でビジュアル比較したりできます。
B
各トレーニングランの結果をAmazon S3にJSONファイルとして保存し、Amazon Athenaでクエリして比較する
Amazon S3 に JSON ファイルとして保存し Amazon Athena でクエリして比較する方式では再現性管理や横断比較に課題が生じます。
C
CloudWatchカスタムメトリクスにメトリクスを送信し、CloudWatchダッシュボードで実験間を比較する
CloudWatch カスタムメトリクスにメトリクスを送信し CloudWatch ダッシュボードで比較する方式は実験管理に特化していません。
D
Jupyter Notebookのセル内にpandas DataFrameとして手動でメトリクスを記録し、セッションをまたいで管理する
Jupyter Notebook のセル内に pandas DataFrame として手動で記録する方式は再現性とセッション間の管理に課題があります。

解説

SageMaker Experiments は機械学習実験管理に特化したサービスで、実験(Experiment)と個別実行(Trial)を階層構造で管理します。各 Trial にはパラメータ・メトリクス・モデルアーティファクトが自動記録され、ExperimentAnalytics API で DataFrame として取得したり SageMaker Studio 上でビジュアル比較したりできます。 選択肢B の Amazon S3 に JSON ファイルとして保存し Amazon Athena でクエリして比較する方式では再現性管理や横断比較に課題が生じます。 選択肢C の CloudWatch カスタムメトリクスにメトリクスを送信し CloudWatch ダッシュボードで比較する方式は実験管理に特化していません。 選択肢D の Jupyter Notebook のセル内に pandas DataFrame として手動で記録する方式は再現性とセッション間の管理に課題があります。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← MLA の問題一覧に戻る