AIC so với xác nhận chéo trong chuỗi thời gian: trường hợp mẫu nhỏ

Tôi quan tâm đến việc lựa chọn mô hình trong một thiết lập chuỗi thời gian. Để cụ thể, giả sử tôi muốn chọn một mô hình ARMA từ một nhóm các mô hình ARMA với các đơn đặt hàng độ trễ khác nhau. Mục đích cuối cùng là dự báo .

Lựa chọn mô hình có thể được thực hiện bởi

1. xác nhận chéo,
2. sử dụng các tiêu chí thông tin (AIC, BIC),

trong số các phương pháp khác.

Rob J. Hyndman cung cấp một cách để xác nhận chéo cho chuỗi thời gian . Đối với các mẫu tương đối nhỏ, cỡ mẫu được sử dụng trong xác nhận chéo có thể khác về chất so với cỡ mẫu ban đầu. Ví dụ: nếu kích thước mẫu ban đầu là 200 quan sát, thì người ta có thể nghĩ đến việc bắt đầu xác thực chéo bằng cách thực hiện 101 quan sát đầu tiên và mở rộng cửa sổ lên 102, 103, ..., 200 quan sát để có được 100 kết quả xác thực chéo. Rõ ràng, một mô hình có khả năng phân tích hợp lý cho 200 quan sát có thể quá lớn cho 100 quan sát và do đó, lỗi xác thực của nó sẽ lớn. Do đó, xác nhận chéo có khả năng ủng hộ một cách có hệ thống các mô hình quá phức tạp. Đây là một hiệu ứng không mong muốn do sự không phù hợp trong kích thước mẫu .

Một thay thế cho xác nhận chéo là sử dụng tiêu chí thông tin để lựa chọn mô hình. Vì tôi quan tâm đến dự báo, tôi sẽ sử dụng AIC. Mặc dù AIC tương đương với việc giảm thiểu MSE dự báo một bước mẫu cho các mô hình chuỗi thời gian (theo bài đăng này của Rob J. Hyndman), tôi nghi ngờ điều này có liên quan ở đây vì mẫu kích thước tôi quan tâm không lớn ...

Câu hỏi: tôi có nên chọn AIC theo thời gian xác thực chéo cho các mẫu nhỏ / vừa không?

Một vài câu hỏi liên quan có thể được tìm thấy ở đây , đây và đây .

Bỏ qua những cân nhắc về mặt lý thuyết, Tiêu chí Thông tin của Akaike chỉ là khả năng bị phạt bởi mức độ tự do. Điều gì sau đây, AIC tính đến sự không chắc chắn trong dữ liệu ( -2LL ) và đưa ra giả định rằng nhiều tham số hơn dẫn đến nguy cơ thừa chất lượng cao hơn ( 2k ). Xác thực chéo chỉ nhìn vào hiệu suất thiết lập thử nghiệm của mô hình, không có giả định nào thêm.

Nếu bạn quan tâm chủ yếu đến việc đưa ra dự đoán và bạn có thể cho rằng (các) bộ kiểm tra sẽ tương đối hợp lý với dữ liệu trong thế giới thực, bạn nên đi xác thực chéo. Vấn đề có thể là khi dữ liệu của bạn nhỏ, sau đó bằng cách chia nhỏ dữ liệu, bạn kết thúc với các bộ kiểm tra và huấn luyện nhỏ. Ít dữ liệu cho đào tạo là xấu và ít dữ liệu cho bộ kiểm tra khiến kết quả xác thực chéo không chắc chắn hơn (xem Varoquaux, 2018 ). Nếu mẫu thử nghiệm của bạn không đủ, bạn có thể buộc phải sử dụng AIC, nhưng hãy ghi nhớ những gì nó đo lường và những gì có thể giả định mà nó đưa ra.

Mặt khác, như đã đề cập trong các bình luận, AIC cung cấp cho bạn các đảm bảo không có triệu chứng, và đó không phải là trường hợp với các mẫu nhỏ. Các mẫu nhỏ cũng có thể gây hiểu nhầm về tính không chắc chắn trong dữ liệu.

Hừm - nếu mục tiêu cuối cùng của bạn là dự đoán, tại sao bạn lại có ý định lựa chọn mô hình? Theo như tôi biết, nó được thiết lập tốt cả trong tài liệu thống kê "truyền thống" và tài liệu học máy mô hình hóa trung bình là vượt trội khi dự đoán. Nói một cách đơn giản, tính trung bình của mô hình có nghĩa là bạn ước tính tất cả các mô hình hợp lý, hãy để tất cả chúng dự đoán và lấy trung bình dự đoán của chúng có trọng số bằng bằng chứng mô hình tương đối của chúng.

Một tài liệu tham khảo hữu ích để bắt đầu là https://journals.sagepub.com/doi/10.1177/0049124104268644

Họ giải thích điều này khá đơn giản và tham khảo các tài liệu liên quan.

Hi vọng điêu nay co ich.

Ý tưởng của tôi là, làm cả hai và xem. Đó là trực tiếp sử dụng AIC. AIC nhỏ hơn, mô hình tốt hơn. Nhưng người ta không thể phụ thuộc vào AIC và nói rằng mô hình như vậy là tốt nhất. Vì vậy, nếu bạn có một nhóm các mô hình ARIMA, hãy lấy từng mô hình và kiểm tra dự báo cho các giá trị hiện có và xem mô hình nào dự đoán gần nhất với dữ liệu chuỗi thời gian hiện tại. Thứ hai kiểm tra AIC là tốt và xem xét cả hai, đi đến một lựa chọn tốt. Không có bất cứ qui tắt khó và nhanh nào cả. Chỉ cần đi cho mô hình dự đoán tốt nhất.