AIP実装と統合複数選択
MLエンジニアチームがAmazon Bedrock Custom Modelsを使用して顧客サポートメールの自動応答モデルをファインチューニングしています。学習曲線を分析したところ、以下が観察されました：
・トレーニング損失（Training Loss）は各エポックで継続的に低下している
・検証損失（Validation Loss）はエポック4まで低下した後、エポック5以降で上昇に転じている
・ファインチューニング済みモデルは訓練データの応答品質は高いが、未見の新規メールへの応答品質が著しく低い。
この状況を最も効果的に解決するハイパーパラメータ調整の組み合わせはどれですか？（2つ選択）
Aエポック数（Epochs）をエポック4またはそれ以前に削減する（検証損失が最小だった時点でトレーニングを停止する）
✓ 正解
早期停止は過学習対策の標準手法です。訓練損失の低下に対して検証損失が増加する現象を検出し、検証損失が最小化されたエポック4で学習を停止することで、モデルが訓練データに過度に適応するのを防ぎ、未見データへの汎化性能を維持できます。
B学習率（Learning Rate）を現在より小さい値に調整し、パラメータ更新ステップを小さくしてモデルが急激にフィッティングしすぎないようにする
✓ 正解
学習率を低下させると、各ステップでのパラメータ更新量が小さくなり、モデルが訓練データへ過度に急速に適応するのを緩和します。この結果として過度なフィッティングが抑制され、汎化性能の低下が改善されます。
Cバッチサイズ（Batch Size）を増加させ、各ステップでより多くのデータからの勾配を平均化して汎化性能を上げる
バッチサイズを増加させると、各ステップでのグラデーション計算が複数サンプルで平均化され、ノイズが減少します。ただし過学習対策としての効果は限定的であり、早期停止や学習率低下と比べて根本的な解決策ではありません。
D学習率（Learning Rate）を現在より大きい値に増加させてより速く収束させ、エポック数を増やして訓練を継続する
学習率を増加させるとパラメータ更新が大きくなり、モデルが訓練データに対してより急速に適応するようになります。これは過学習をさらに悪化させるため、この状況では逆効果となり、採用すべき対策ではありません。
Eウォームアップステップ数（Warmup Steps）を大幅に増加させ、学習開始時の学習率の急上昇を抑えて訓練全体を安定化させる
ウォームアップステップの増加は学習初期の学習率の急上昇を防ぎ、訓練の安定化に寄与します。しかしエポック4以降に発現している過学習（訓練データへの過適合）の根本的な解消手段にはならず、早期停止や学習率低下と比べて効果が低いです。
解説
「訓練損失↓・検証損失↑・未見データへの汎化失敗」は過学習（Overfitting）の典型的な症状です。
選択肢Aは、検証損失が最小となったエポック4の時点でトレーニングを打ち切る早期停止（Early Stopping）です。過学習が始まる前に学習を終了することで、未見データへの汎化性能を維持できます。
選択肢Bは、学習率を下げてパラメータ更新ステップを小さくすることで、モデルが訓練データに急激にフィッティングしすぎるのを防ぎ、汎化性能を向上させます。
選択肢Cは、バッチサイズ増加は勾配のノイズを減らし汎化に寄与する場合がありますが、今回の過学習に対する主要な解決策ではなく、単独では不十分です。
選択肢Dは、学習率を増加させると更新ステップが大きくなり過学習を悪化させます。エポック数を増やすことも訓練データへのフィッティングがさらに進むため、逆効果です。
選択肢Eは、ウォームアップステップの増加は学習初期の安定化に寄与しますが、エポック4以降に発現している過学習の根本的な解消手段にはなりません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →