金融サービス企業がAmazon Bedrockで社内規程文書対応のモデルを指示ファインチューニングしました。ファインチューニングジョブのメトリクスを確認したところ、トレーニングロスは5エポック(epoch: 学習反復回数)目まで順調に低下しましたが、バリデーションロスは4エポック目から上昇に転じています。この現象を改善するために最も適切な対処法はどれか。
トレーニングロスが低下しバリデーションロスが上昇する現象は過学習(オーバーフィッティング)の典型的なパターンです。最適なエポック数はバリデーションロスが最小となる時点(この場合3〜4エポック)であり、それ以降を打ち切る早期停止が有効です。Amazon Bedrockのファインチューニングで設定可能な主なハイパーパラメータはepochCount・learningRate・batchSizeであり、Weight Decay(L2正則化)は直接設定できません。そのため、エポック数の削減と合わせてトレーニングデータの多様性を高めることが、Bedrock環境で実施できる現実的な過学習対策となります。 選択肢A のLearning Rateの大幅な増加は学習を不安定化させ過学習を悪化させます。 選択肢C のより大きなモデルへの切り替えは一般的に過学習を促進します。 選択肢D のバリデーションデータの削除は問題の可視化を妨げるだけで解決になりません。