MLAMLモデルの開発
MLエンジニアが、XGBoostを使った二項分類モデルのハイパーパラメータ（学習率・最大深度・サブサンプル率）を最適化しようとしています。予算とコンピューティングリソースが限られているため、できるだけ少ないトレーニングジョブ数で優れた結果を得たいと考えています。SageMaker Hyperparameter Tuningジョブで使用すべき最も効率的な探索戦略はどれですか？
Aグリッドサーチ（Grid search）：指定したパラメータ値のすべての組み合わせを網羅的に試す
グリッドサーチは指定したすべてのパラメータ値の組み合わせを網羅的に試します。学習率・最大深度・サブサンプル率の3つのパラメータでも試行数が指数関数的に増加し、限られたリソース環境では非効率です。
Bランダムサーチ（Random search）：パラメータ空間からランダムにサンプリングして試す
ランダムサーチは過去の試行結果を活用せずパラメータ空間からランダムにサンプリングします。グリッドサーチよりは効率的ですが、ベイズ最適化と比べて同じ試行数でより良い結果を出す能力に劣ります。
Cベイズ最適化（Bayesian optimization）：過去のトレーニング結果を代理モデルで学習し、次の探索点を確率的に選ぶ
✓ 正解
過去の試行結果をガウス過程などの代理モデルで学習し、次に評価すべきパラメータ組み合わせを確率的に選択します。少ないジョブ数で最適解に近づけるため、リソースが限られた環境で最も効率的な戦略です。
DHyperband：リソースを段階的に増やしながら有望な試行を絞り込む早期打ち切り戦略
Hyperbandは段階的にリソースを増やしながら有望な試行を絞り込む早期打ち切り戦略です。エポック数など離散的なリソース制御には有効ですが、連続値パラメータ空間の探索効率ではベイズ最適化に劣ります。
解説
SageMaker Hyperparameter Tuningのベイズ最適化は、過去の試行結果をガウス過程などの代理モデル（surrogate model）で学習し、次に評価すべきパラメータ組み合わせを予測します。グリッドサーチやランダムサーチより少ないジョブ数で最適解に近づけるため、リソースが限られた環境に最適です。
選択肢Aのグリッドサーチは、指定したすべての組み合わせを網羅的に試すため、パラメータ空間が大きくなると試行数が指数関数的に増加し、限られたコンピューティングリソースでは非効率です。
選択肢Bのランダムサーチは、過去の試行結果を活用しないためベイズ最適化と比べて同じ試行数でより良い結果を出す能力に劣り、効率的なハイパーパラメータ探索には不向きです。
選択肢DのHyperbandは早期打ち切り（early stopping）による効率化が得意ですが、連続値パラメータ空間の効率的な探索においてはベイズ最適化の方が優れています。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →