AIP実装と統合
メディア企業が Amazon Bedrock Custom Models を使用してコンテンツ分類モデルをファインチューニングしています。ML チームは以下のトレーニングメトリクスを観察しました:
・エポック 1:トレーニング損失 2.1、バリデーション損失 2.3
・エポック 3:トレーニング損失 1.2、バリデーション損失 1.4
・エポック 5:トレーニング損失 0.8、バリデーション損失 1.6
・エポック 7:トレーニング損失 0.5、バリデーション損失 2.1
このパターンが示す問題と、最も適切なハイパーパラメータ調整はどれですか?
Aトレーニングは正常に進行しており、エポック数をさらに増やしてトレーニング損失をゼロに近づけることで、モデルの精度を最大化すべきである
トレーニングは正常に進行しており、エポック数をさらに増やしてトレーニング損失をゼロに近づけるべきであるというアプローチは誤りです。オーバーフィッティングが発生しているため、エポック数の増加はさらに悪化を招きます。
Bエポック 5 付近でオーバーフィッティング(過学習)が発生している。エポック数を 3〜4 に削減し、必要に応じて学習率(learning rate)を下げてモデルの汎化性能を改善すべきである
✓ 正解
トレーニング損失が低下し続ける一方でバリデーション損失が増加に転じるパターンはオーバーフィッティング(過学習)の典型的なサインです。モデルがトレーニングデータを暗記し始め、未知データへの汎化能力が低下している状態を示しています。エポック数の削減と学習率の調整が最も直接的な対処策となります。
Cバッチサイズが小さすぎるため、バッチサイズを大幅に増やすことでミニバッチの代表性が向上し、バリデーション損失の上昇を防ぐことができる
バッチサイズが小さすぎるため、バッチサイズを大幅に増やすことでバリデーション損失の上昇を防ぐことができるというアプローチは関係ありません。バッチサイズの増加はトレーニングダイナミクスに影響しますが、オーバーフィッティングの根本的な解決にはなりません。
Dトレーニングデータが不足しているため、データ量を 10 倍以上に増やしてデータの多様性を確保してから再トレーニングすべきである
トレーニングデータが不足しているため、データ量を 10 倍以上に増やしてから再トレーニングすべきであるというアプローチは、データ不足がオーバーフィッティングの直接原因とは断定できず、エポック数の削減のほうが直接的な対処策です。
解説
トレーニング損失が低下し続ける一方でバリデーション損失が増加に転じるパターンはオーバーフィッティング(過学習)の典型的なサインです。モデルがトレーニングデータを暗記し始め、未知データへの汎化能力が低下している状態を示しています。エポック数の削減と学習率の調整が最も直接的な対処策となります。
選択肢Aのトレーニングは正常に進行しており、エポック数をさらに増やしてトレーニング損失をゼロに近づけるべきであるというアプローチは誤りです。オーバーフィッティングが発生しているため、エポック数の増加はさらに悪化を招きます。
選択肢Cのバッチサイズが小さすぎるため、バッチサイズを大幅に増やすことでバリデーション損失の上昇を防ぐことができるというアプローチは関係ありません。バッチサイズの増加はトレーニングダイナミクスに影響しますが、オーバーフィッティングの根本的な解決にはなりません。
選択肢Dのトレーニングデータが不足しているため、データ量を 10 倍以上に増やしてから再トレーニングすべきであるというアプローチは、データ不足がオーバーフィッティングの直接原因とは断定できず、エポック数の削減のほうが直接的な対処策です。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →