AIFAIとMLの基礎
あるデータサイエンティストが、需要予測モデルのハイパーパラメータを調整しつつ、本番投入前にモデルの汎化性能を偏りなく見積もりたいと考えています。手元のラベル付きデータを「トレーニングセット」「検証（バリデーション）セット」「テストセット」の3つに分割しました。このうち検証セットの主な役割として最も適切なものはどれですか。
Aハイパーパラメータ調整・モデル選択に使用し、テストセットを最終評価に残す
✓ 正解
検証セットはハイパーパラメータの調整やモデル選択の比較評価に使い、その過程でテストセットには触れない。これによりテストセットを未使用のまま最終評価に残せ、汎化性能を偏りなく見積もれるため要件に合致する。
Bモデルの重み（パラメータ）を直接学習させるために使用する
モデルの重み（パラメータ）を直接学習させるのはトレーニングセットの役割。検証セットを重み学習に使うと情報漏洩が起き、ハイパーパラメータ調整の客観的な指標として機能しなくなる。
C本番デプロイ後のデータドリフトを継続的に監視するために使用する
デプロイ後のデータドリフト監視は本番運用フェーズで本番データを用いて行うもので、学習前に分割する検証セットの役割ではない。検証セットはモデル開発段階の調整・選択に使うデータである。
D最終的な汎化性能を1度だけ測定して報告するために使用する
最終的な汎化性能を1度だけ測定するのはテストセットの役割。検証セットは調整過程で繰り返し参照されるため、これで最終性能を報告すると調整による楽観的な偏りが入り、汎化性能の見積もりとして適切でない。
解説
検証（バリデーション）セットは、ハイパーパラメータの調整や複数モデルの比較・選択に使うためのデータ。
調整の過程でテストセットには一切触れないことで、テストセットを「未使用の最終評価用データ」として残せ、本番に近い汎化性能を偏りなく見積もれる。
選択肢1の重み学習はトレーニングセットの役割。
選択肢2のドリフト監視はデプロイ後の本番運用フェーズの作業。
選択肢3の最終評価はテストセットの役割であり検証セットの役割ではない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →