AIP実装と統合

あるMLチームがAmazon Bedrock Custom Modelsでモデルのファインチューニングを実施しました。3エポック学習後の結果として、トレーニング損失(training loss)は0.12まで低下しましたが、バリデーション損失(validation loss)は0.71と高止まりしています。Bedrockで設定可能なハイパーパラメータを使用してこの過学習(overfitting: トレーニングデータには適合するが未知データへの汎化が不十分な状態)に対処する最も適切なアプローチはどれですか?

A
エポック数(epochCount)を10に増加させ、モデルがより多くのパターンを学習できるようにする
エポック数増加はさらなる過学習を招き、過学習問題の解決にはなりません。
B
学習率(learningRate)を現在の値の10倍に増加させてローカル最小値から脱出させる
学習率を大幅増加させると学習を不安定化させます。
C
エポック数を1〜2に削減し、同時にトレーニングデータの多様性を高めて再ファインチューニングを実施する
✓ 正解
トレーニング損失が低くバリデーション損失が高い状態は過学習を示しています。Bedrockで設定可能なepochCount・learningRate・batchSizeのうち、エポック数削減(早期停止に相当)が最も直接的な対処法です。さらにデータ多様性の向上で汎化性能を改善します。
D
バッチサイズ(batchSize)を最大値に設定して学習の安定性を向上させる
バッチサイズ増加だけでは過学習への効果は限定的です。

解説

トレーニング損失が低くバリデーション損失が高い状態は過学習を示しています。Bedrockで設定可能なepochCount・learningRate・batchSizeのうち、エポック数削減(早期停止に相当)が最も直接的な対処法です。さらにデータ多様性の向上で汎化性能を改善します。 選択肢Aのエポック数増加はさらなる過学習を招き、過学習問題の解決にはなりません。 選択肢Bの学習率を大幅増加させると学習を不安定化させます。 選択肢Dのバッチサイズ増加だけでは過学習への効果は限定的です。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIP の問題一覧に戻る