あるデータサイエンティストが過去5年間の日次株価データを使って翌日の株価上昇/下落を予測する二値分類モデルを構築しました。ホールドアウト検証での精度は92%でしたが、本番環境では50%(ランダム予測と同等)しか機能しませんでした。原因を調査すると、データの分割方法に問題があることが判明しました。この失敗の最も可能性の高い原因と正しい対処方法の組み合わせはどれか?
時系列データをランダムシャッフルして分割すると、訓練データに未来の時点のデータが混入するデータリーク(情報漏洩)が発生し、評価精度が過大評価される。本番では過去データしか参照できないため、評価時との前提条件が異なり性能が著しく低下する。時系列データは時間軸に沿って分割するウォークフォワード検証が必須。