MLAMLモデルの開発
MLエンジニアが4年分の日次小売販売データを使って需要予測モデルを評価しています。データには強い週次・年次季節性があります。「未来のデータが訓練データに混入するデータ漏洩を防ぎ、本番環境での汎化性能を正確に推定する」という要件があります。最も適切なモデル評価戦略はどれですか?
Aウォークフォワード検証を実施し、訓練期間を順次拡張しながら直後の未来期間を評価セットとして複数回評価する
✓ 正解
ウォークフォワード検証は時間的順序を保持しながら訓練ウィンドウを拡張して複数回評価するため、データ漏洩を完全に防ぎながら複数期間での安定した汎化性能推定が可能。強い季節性を持つ日次時系列データの評価に最も適した手法である。
BK分割交差検証を適用し、全4年分のデータをランダムにK個のフォールドに分割して平均スコアで評価する
K分割交差検証はランダム分割を行うため、未来の日付が訓練セットに混入し過去の日付が評価セットに含まれるデータ漏洩が発生する。時系列モデルの実運用性能を過大評価する問題があり、時系列データへの適用は不適切である。
C層化K分割交差検証を適用し、各フォールドの季節(四半期)分布が均等になるよう分割して評価する
層化K分割交差検証はクラス不均衡対策として各フォールドのクラス分布を均等化する分類問題向け手法である。時系列の時間的順序を無視したランダム分割を行うためデータ漏洩が発生し、需要予測モデルの評価には適さない。
D最後の12ヶ月をテストセットとして1回のみホールドアウト検証を実施し、残りの3年分を訓練データとする
単一ホールドアウト検証は時間的順序を保持するが、テスト期間が1つに固定されるため特定期間の季節要因や異常イベントに評価結果が左右されやすい。ウォークフォワード検証より汎化性能の推定精度が低く安定性に欠ける。
解説
ウォークフォワード検証(時系列交差検証)は、時間的順序を維持しながら訓練ウィンドウを順次拡張し、直後の未来期間でモデルを評価する手法です。未来のデータが訓練データに混入するデータ漏洩を防ぎつつ、複数の評価期間で性能を推定することで、単一ホールドアウトより安定した汎化性能の推定が可能になります。
選択肢BのK分割交差検証はデータをランダムに分割するため、評価セットに過去の日付が含まれ、訓練セットに未来の日付が混入するデータ漏洩が発生し、実際の運用性能を過大評価してしまいます。
選択肢Cの層化K分割交差検証はクラス分布の均等化を目的とした分類問題向け手法で、時系列の時間的順序を無視してランダム分割するためデータ漏洩が同様に発生します。
選択肢Dの単一ホールドアウト検証は時間的順序を保持しますが、1回のみの評価では特定期間のトレンドや異常イベントに結果が左右されやすく、ウォークフォワード検証と比較して汎化性能の推定が不安定になります。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでMLAを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →