Có phải là bất thường khi MEAN vượt trội hơn ARIMA?

Gần đây tôi đã áp dụng một loạt các phương pháp dự báo (MEAN, RWF, ETS, ARIMA và MLPs) và thấy rằng MEAN đã làm tốt đáng ngạc nhiên. (MEAN: nơi tất cả các dự đoán trong tương lai được dự đoán là bằng với giá trị trung bình số học của các giá trị được quan sát.) MEAN thậm chí còn vượt trội hơn ARIMA trên ba loạt tôi đã sử dụng.

Những gì tôi muốn biết là nếu điều này là bất thường? Điều này có nghĩa là chuỗi thời gian tôi đang sử dụng là lạ? Hay điều này chỉ ra rằng tôi đã thiết lập một cái gì đó sai?

Tôi là một học viên, cả nhà sản xuất và người sử dụng dự báo và KHÔNG phải là một nhà thống kê được đào tạo. Dưới đây tôi chia sẻ một số suy nghĩ của tôi về lý do tại sao dự báo trung bình của bạn lại tốt hơn ARIMA bằng cách tham khảo bài viết nghiên cứu dựa trên bằng chứng thực nghiệm. Một cuốn sách hết lần này đến lần khác tôi quay lại để tham khảo là cuốn sách Nguyên tắc dự báo của Armstrong và trang web của nó mà tôi muốn giới thiệu là một cuốn sách tuyệt vời cho bất kỳ người dự báo nào, cung cấp cái nhìn sâu sắc về cách sử dụng và nguyên tắc hướng dẫn của phương pháp ngoại suy.

Để trả lời bạn câu hỏi đầu tiên - Điều tôi muốn biết là nếu điều này bất thường?

Có một chương gọi là Phép ngoại suy cho Chuỗi thời gian và Dữ liệu cắt ngang cũng có sẵn miễn phí trong cùng một trang web . Sau đây là trích dẫn từ chương

"Ví dụ, trong cuộc thi M2 thời gian thực, đã kiểm tra 29 chuỗi hàng tháng, Box-Jenkins đã chứng minh là một trong những phương pháp kém chính xác nhất và sai số trung bình tổng thể của nó lớn hơn 17% so với dự báo ngây thơ"

Có một bằng chứng thực nghiệm về lý do tại sao dự báo trung bình của bạn tốt hơn các mô hình ARIMA.

Ngoài ra còn có nghiên cứu sau khi nghiên cứu trong các cuộc thi thực nghiệm và cuộc thi M3 thứ ba cho thấy phương pháp ARIMA của Box - Jenkins không đưa ra dự báo chính xác và thiếu bằng chứng cho thấy nó hoạt động tốt hơn cho phép ngoại suy xu hướng.

Ngoài ra còn có một bài báo khác và một nghiên cứu đang diễn ra của Greene và Armstrong có tên " Dự báo đơn giản: Tránh nước mắt trước khi đi ngủ " trong cùng một trang web. Các tác giả của bài viết tóm tắt như sau:

Tổng cộng chúng tôi đã xác định được 29 bài báo kết hợp 94 so sánh chính thức về độ chính xác của dự báo từ các phương pháp phức tạp với các phương pháp từ đơn giản nhưng không phải trong tất cả các trường hợp phương pháp đơn giản tinh vi. Tám mươi ba phần trăm so sánh cho thấy dự báo từ các phương pháp đơn giản là chính xác hơn, hoặc chính xác tương tự, so với các phương pháp phức tạp. Trung bình, sai số của dự báo từ các phương pháp phức tạp lớn hơn khoảng 32% so với sai số của dự báo từ các phương pháp đơn giản trong 21 nghiên cứu cung cấp so sánh các lỗi

Để trả lời câu hỏi thứ ba của bạn : điều này cho thấy rằng tôi đã thiết lập một cái gì đó sai? Không, tôi sẽ coi ARIMA là phương pháp phức tạp và dự báo trung bình là phương pháp đơn giản. Có nhiều bằng chứng cho thấy các phương pháp đơn giản như Trung bình dự báo vượt trội hơn các phương pháp phức tạp như ARIMA.

Để trả lời câu hỏi thứ hai của bạn : Điều này có nghĩa là chuỗi thời gian tôi đang sử dụng có lạ không?

Dưới đây là những gì tôi coi là chuyên gia trong dự báo thế giới thực:

• Makridakis (Cuộc thi tiên phong về Dự báo về Dự báo được gọi là M, M2 và M3, và mở đường cho các phương pháp dựa trên bằng chứng trong dự báo)
• Armstrong (Cung cấp những hiểu biết có giá trị dưới dạng sách / bài viết về Thực hành Dự báo)
• Gardner (Phát minh theo xu hướng giảm dần theo cấp số nhân làm mịn một phương pháp đơn giản khác có hiệu quả đáng ngạc nhiên so với ARIMA)

Tất cả các nhà nghiên cứu ở trên đều ủng hộ, tính đơn giản (các phương pháp như dự báo trung bình của bạn) so với các phương pháp phức tạp như ARIMA. Vì vậy, bạn nên cảm thấy thoải mái khi dự báo của bạn là tốt và luôn thiên về sự đơn giản hơn sự phức tạp dựa trên bằng chứng thực nghiệm. Các nhà nghiên cứu này đã đóng góp rất nhiều cho lĩnh vực dự báo ứng dụng.

Ngoài danh sách tốt về phương pháp dự báo đơn giản của Stephan. Ngoài ra còn có một phương pháp khác gọi là phương pháp dự báo Theta , đó là một phương pháp rất đơn giản (về cơ bản là làm mịn theo hàm mũ đơn giản với độ lệch bằng 1/2 độ dốc của hồi quy tuyến tính) Tôi sẽ thêm nó vào hộp công cụ của bạn. Forecast package in Rthực hiện phương pháp này.

Điều này không có gì đáng ngạc nhiên . Trong dự báo, bạn rất thường thấy rằng các phương pháp cực kỳ đơn giản, như

• ý nghĩa tổng thể
• bước đi ngẫu nhiên ngây thơ (nghĩa là quan sát cuối cùng được sử dụng như một dự báo)
• đi bộ ngẫu nhiên theo mùa (nghĩa là quan sát từ một năm trước)
• Làm mịn theo cấp số nhân

vượt trội hơn các phương pháp phức tạp hơn. Đó là lý do tại sao bạn phải luôn kiểm tra các phương pháp của mình so với các điểm chuẩn rất đơn giản này.

Một trích dẫn của George Athanosopoulos và Rob Hyndman (là những chuyên gia trong lĩnh vực này):

Một số phương pháp dự báo rất đơn giản và hiệu quả đáng ngạc nhiên.

Lưu ý cách họ nói rõ ràng rằng họ sẽ sử dụng một số phương pháp rất đơn giản làm điểm chuẩn.

Trong thực tế, toàn bộ sách giáo khoa trực tuyến mở miễn phí của họ về dự báo là rất nhiều khuyến khích.

EDIT: Một trong những biện pháp lỗi dự báo được chấp nhận tốt hơn, Lỗi quy mô tuyệt đối trung bình (MASE) của Hyndman & Koehler (xem thêm ở đây ) đo lường mức độ dự báo được đưa ra sẽ cải thiện dự báo đi bộ ngẫu nhiên (trong mẫu): nếu MASE <1, dự báo của bạn tốt hơn so với đi bộ ngẫu nhiên trong mẫu. Bạn muốn điều này dễ bị đánh bại, phải không?

Không phải như vậy: đôi khi, ngay cả những phương pháp dự báo tiêu chuẩn tốt nhất như ARIMA hoặc ETS sẽ chỉ mang lại MASE là 1,38, tức là tệ hơn (ngoài mẫu) so với dự báo đi bộ ngẫu nhiên (trong mẫu). Điều này đủ gây bối rối để tạo ra các câu hỏi ở đây. (Câu hỏi đó không phải là một bản sao của câu hỏi này, vì MASE so sánh độ chính xác ngoài mẫu với độ chính xác trong mẫu của phương pháp ngây thơ, nhưng nó cũng làm sáng tỏ cho câu hỏi hiện tại.)