MLAMLモデルの開発複数選択

あるチームが SageMaker でニューラルネットワークを使った顧客離脱予測モデルをトレーニングしている。5層・各層512ユニットの構成で、トレーニングデータ(5,000件)では損失が十分低下するが、ホールドアウト検証セットとの損失差が拡大し続けている。この状況を改善するための対策として最も効果的なものを2つ選択せよ。

A
各中間層に Dropout(率 0.3 〜 0.5)を追加し、トレーニング時にランダムにユニットを無効化する
✓ 正解
Dropout はトレーニング時にランダムなユニットを非活性化することでニューロン間の共適応を防ぎ、汎化性能を向上させる正則化手法。
B
バッチサイズを現在の 1/4 に縮小し、パラメータ更新頻度を上げてより細かく学習させる
バッチサイズの縮小は確率的な勾配更新で局所最適を抜け出す効果はあるが、過学習そのものを直接抑制する正則化手法ではない。
C
損失関数に L2 正則化(Weight Decay)を追加し、大きな重みの成長にペナルティを課す
✓ 正解
L2 正則化は損失関数に重みの二乗和ペナルティを加え、モデルが特定の特徴に依存した大きな重みを持つことを抑制する。
D
学習率を10倍に上げて損失曲線の収束スピードを上げ、より早く最小値に達させる
学習率を上げると損失曲線の振動が増加して収束が不安定になり、過学習の抑制にはならない。
E
トレーニングエポック数を現在の3倍まで増加させ、モデルが訓練データの複雑なパターンやノイズも含めてより完全に学習できるようにする
エポック数を増やすとモデルが訓練データにさらに適合し、検証損失との差が拡大して過学習が悪化する。

解説

Dropout はニューロン間の共適応を防ぎ、L2 正則化は大きな重みの成長を抑制する。両手法は補完的に過学習を軽減する正則化技術。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
MLA の問題一覧に戻る