CV gấp của chuỗi thời gian dự báo tài chính - hiệu suất của lần cuối có phù hợp hơn không?

Tôi đang làm việc trên một mô hình dự báo dựa trên ANN cho một chuỗi thời gian tài chính. Tôi đang sử dụng xác thực chéo 5 lần và hiệu suất trung bình là như vậy. Hiệu suất ở lần cuối cùng (lần lặp trong đó phân đoạn cuối bị bỏ qua đào tạo và được sử dụng để xác nhận) là tốt hơn so với trung bình.

Đây có phải là sự trùng hợp ngẫu nhiên / phụ thuộc vào dữ liệu hay hiệu suất xác thực ở lần cuối cùng thường tốt hơn? (có lẽ vì đào tạo với tất cả dữ liệu trước có liên quan nhiều hơn đến dữ liệu tiếp theo trong chuỗi thời gian)

Điều này cảm thấy giống như một câu hỏi kỳ lạ, nhưng dù sao tôi cũng hy vọng có một số câu trả lời. Cảm ơn trước :)

Với chuỗi thời gian, bạn không thể kiểm tra mô hình dự báo thông qua xác thực chéo theo cách thông thường vì khi đó bạn đang sử dụng các quan sát trong tương lai để dự đoán quá khứ. Bạn phải chỉ sử dụng các quan sát trong quá khứ để dự đoán tương lai. Chuỗi thời gian tương đương với LOO CV là sử dụng nguồn gốc dự báo cán thay thế. Tôi đã viết về nó trong bài viết trên blog này . Tôi không chắc chắn nếu k-gấp CV có chuỗi thời gian trực tiếp tương đương.

Trong Sci-Kit Learn Python Kit, họ có một thứ gọi là "TimeSeriesSplit" về cơ bản trông giống như tập hợp các mẫu thử nghiệm / đào tạo mà bạn sẽ nhận được từ Tối ưu hóa Chuyển tiếp Đi bộ. Rob đã đúng, bạn không thể sử dụng các bảng dữ liệu trong tương lai để huấn luyện cho các bộ kiểm tra trước đây .... vì vậy cách tốt nhất để xác thực chéo là chia các bộ huấn luyện của bạn thành nhiều "nếp gấp" nhất có thể trong khi giữ bộ kiểm tra "Đi về phía trước" . Hậu quả là mỗi lần huấn luyện liên tiếp đặt ra một siêu nhóm của những người trước đó và mỗi bài kiểm tra đặt ngày càng nhiều dữ liệu gần đây để đi trước "bước tiến".