MLAMLモデルの開発
MLエンジニアが分類タスク向け XGBoost モデルを最適化しています。ハイパーパラメータの探索空間には6つの連続パラメータが含まれており、これまでランダムサーチで探索してきました。過去のチューニングジョブ結果を活用しながら、最適なハイパーパラメータを見つけるためのトレーニングジョブ数を削減したいと考えています。最も効率的なアプローチはどれですか？
ASageMaker Hyperparameter Tuning のグリッドサーチで全パラメータ組み合わせを網羅的に探索する
SageMaker Hyperparameter TuningのグリッドサーチはN個の連続パラメータに対してすべての組み合わせを網羅的に評価するため、6つの連続パラメータでは組み合わせ数が指数的に増大し、実用的な時間内での探索は非現実的です。
Bウォームスタートを有効にしたベイズ最適化（Bayesian Optimization）で過去のチューニング結果を引き継ぐ
✓ 正解
ベイズ最適化は確率的代替モデルを使って有望なパラメータ領域を予測しながら探索するため、ランダムサーチより少ないジョブ数で最適解に近づきます。ウォームスタートにより過去のジョブ結果を引き継ぎ、さらに効率的な探索が可能になります。
Cmax_jobs を増やしたランダムサーチで探索範囲を拡大する
max_jobsを増やしたランダムサーチは探索の機会は増えますが、各試行が独立しており過去の結果を学習・活用する仕組みがないため、ジョブ数を増やしてもベイズ最適化と比較して探索効率の改善は限定的です。
DSageMaker Autopilot を使用してアルゴリズム選択からハイパーパラメータ調整まで自動化する
SageMaker AutopilotはアルゴリズムやMLフレームワークの選択からハイパーパラメータ調整まで全自動化するAutoMLサービスです。XGBoostモデルを固定した上でハイパーパラメータのみを効率よく最適化する本タスクには設計目的が合いません。
解説
ベイズ最適化（Bayesian Optimization：確率モデルを用いて有望なパラメータ領域を予測・選択する最適化手法）は、ランダムサーチより少ないジョブ数で最適解に近づきます。さらに SageMaker Hyperparameter Tuning のウォームスタート機能で過去のジョブ結果を引き継ぐことで効率が向上します。
選択肢A の SageMaker Hyperparameter Tuning のグリッドサーチで全パラメータ組み合わせを網羅的に探索する方法は、6 つの連続パラメータへのグリッドサーチは組み合わせ爆発で非実用的です。
選択肢C の max_jobs を増やしたランダムサーチで探索範囲を拡大する方法は、ランダムサーチ自体は過去の結果を活用しないため、効率改善が限定的です。
選択肢D の SageMaker Autopilot を使用してアルゴリズム選択からハイパーパラメータ調整まで自動化する方法は、XGBoost 固定のハイパーパラメータ最適化には適しません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →