Giải thích lỗi trung bình tuyệt đối (MASE)

Sai số tỷ lệ tuyệt đối trung bình (MASE) là thước đo độ chính xác dự báo được đề xuất bởi Koehler & Hyndman (2006) .

Trong đó là lỗi tuyệt đối trung bình được tạo ra bởi dự báo thực tế; trong khi là lỗi tuyệt đối trung bình được tạo ra bởi một dự báo ngây thơ (ví dụ: dự báo không thay đổi cho chuỗi thời gian tích hợp ), được tính trên dữ liệu trong mẫu.M A E i n - s a m p l e $MAE$
I(1$MAE_{in-sample, \, naive}$$I(1)$

(Kiểm tra bài báo của Koehler & Hyndman (2006) để có định nghĩa và công thức chính xác.)

$MASE>1$ ngụ ý rằng dự báo thực tế không tệ hơn mẫu so với dự báo ngây thơ đã làm trong mẫu, về mặt sai số tuyệt đối trung bình. Do đó, nếu sai số tuyệt đối trung bình là thước đo chính xác của dự báo (phụ thuộc vào sự cố có sẵn), gợi ý rằng dự báo thực tế nên được loại bỏ để ủng hộ dự báo ngây thơ nếu chúng ta mong đợi dữ liệu ngoài mẫu khá giống với dữ liệu trong mẫu (vì chúng tôi chỉ biết dự báo ngây thơ được thực hiện tốt như thế nào trong mẫu chứ không phải ngoài mẫu).$MASE>1$

Câu hỏi:

$MASE=1.38$ đã được sử dụng làm điểm chuẩn trong một cuộc thi dự báo được đề xuất trong bài đăng trên blog Hyndsight này . Không phải một điểm chuẩn rõ ràng đã được ?$MASE=1$

Tất nhiên, câu hỏi này không cụ thể cho cuộc thi dự báo cụ thể. Tôi muốn một số trợ giúp để hiểu điều này trong một bối cảnh tổng quát hơn.

Tôi đoán:

Lời giải thích hợp lý duy nhất tôi thấy là một dự báo ngây thơ được dự kiến ​​sẽ làm khá tệ so với mẫu so với trong mẫu, ví dụ do thay đổi cấu trúc. Sau đó, có thể đã quá khó khăn để đạt được.$MASE<1$

Tài liệu tham khảo:

• Hyndman, Rob J. và Anne B. Koehler. " Một cái nhìn khác về các biện pháp chính xác dự báo. " Tạp chí dự báo quốc tế 22.4 (2006): 679-688.
• Bài viết trên blog của Hyndsight .

Trong bài đăng trên blog được liên kết , Rob Hyndman kêu gọi tham gia một cuộc thi dự báo du lịch. Về cơ bản, bài đăng trên blog phục vụ để thu hút sự chú ý đến bài viết IJF có liên quan , một phiên bản vô duyên được liên kết đến trong bài đăng trên blog.

Các điểm chuẩn bạn tham khảo - 1,38 cho hàng tháng, 1,43 cho hàng quý và 2,28 cho dữ liệu hàng năm - rõ ràng đã được đưa ra như sau. Các tác giả (tất cả đều là chuyên gia dự báo và rất tích cực trong IIF - không có nhân viên bán dầu rắn nào ở đây) hoàn toàn có khả năng áp dụng các thuật toán dự báo tiêu chuẩn hoặc phần mềm dự báo và có lẽ họ không quan tâm đến việc nộp ARIMA đơn giản. Vì vậy, họ đã đi và áp dụng một số phương pháp tiêu chuẩn cho dữ liệu của họ. Để bài dự thi được mời cho một bài báo trong IJF , họ yêu cầu nó cải thiện tốt nhất các phương pháp tiêu chuẩn này, được đo bằng MASE.

Vì vậy, câu hỏi của bạn về cơ bản sôi xuống:

Cho rằng MASE 1 tương ứng với dự báo không có mẫu là tốt (bởi MAD) như dự báo đi bộ ngẫu nhiên ngây thơ trong mẫu, tại sao các phương pháp dự báo tiêu chuẩn như ARIMA không thể cải thiện trên 1,38 cho dữ liệu hàng tháng?

Ở đây, 1.38 MASE đến từ Bảng 4 trong phiên bản chưa được chỉnh sửa. Đây là ASE trung bình trên 1-24 tháng dự báo trước từ ARIMA. Các phương thức tiêu chuẩn khác, như Dự báo, ETS, vv thậm chí còn tệ hơn.

Và ở đây, câu trả lời trở nên khó khăn . Luôn luôn rất khó khăn để đánh giá độ chính xác dự báo mà không xem xét dữ liệu. Một khả năng tôi có thể nghĩ đến trong trường hợp cụ thể này có thể là xu hướng tăng tốc. Giả sử bạn cố gắng dự báo$\exp(t)$với các phương pháp tiêu chuẩn. Không ai trong số này sẽ nắm bắt xu hướng tăng tốc (và đây thường là Điều tốt - nếu thuật toán dự báo của bạn thường mô hình hóa xu hướng tăng tốc, bạn có thể sẽ vượt quá điểm của mình) và họ sẽ mang lại MASE cao hơn 1. Giải thích khác có thể , như bạn nói, là các phá vỡ cấu trúc khác nhau, ví dụ: dịch chuyển cấp độ hoặc các ảnh hưởng bên ngoài như SARS hoặc 9/11, sẽ không được ghi lại bằng các mô hình chuẩn phi nhân quả, nhưng có thể được mô hình hóa bằng các phương pháp dự báo du lịch chuyên dụng (mặc dù sử dụng nguyên nhân tương lai trong một mẫu nắm giữ là một loại gian lận).

Vì vậy, tôi muốn nói rằng bạn có thể không thể nói nhiều về điều này mà không nhìn vào dữ liệu. Chúng có sẵn trên Kaggle. Đặt cược tốt nhất của bạn có khả năng lấy chuỗi 518 này, giữ 24 tháng qua, phù hợp với chuỗi ARIMA, tính toán MASEs, đào ra mười hoặc hai mươi loạt dự báo tồi tệ nhất MASE, lấy một bình cà phê lớn, xem loạt bài này và thử để tìm ra điều gì làm cho các mô hình ARIMA rất tệ trong việc dự báo chúng.

EDIT: một điểm xuất hiện rõ ràng sau khi thực tế nhưng mất tôi năm ngày để xem - hãy nhớ rằng mẫu số của Mase là một bước về phía trước trong mẫu dự báo bước đi ngẫu nhiên, trong khi tử số là mức trung bình của 1-24- bước trước dự báo. Không có gì quá ngạc nhiên khi dự báo ngày càng xấu đi khi tăng dần, vì vậy đây có thể là một lý do khác cho MASE là 1,38. Lưu ý rằng dự báo Naive theo mùa cũng được bao gồm trong điểm chuẩn và có MASE thậm chí cao hơn.

Không phải là một câu trả lời, mà là một âm mưu theo lời kêu gọi của Stephan Kolassa để "nhìn vào những bộ truyện này".
Kaggle du lịch1 có chuỗi thời gian 518 hàng năm, mà chúng tôi muốn dự đoán 4 giá trị cuối cùng:

Cốt truyện hiển thị các lỗi từ bộ dự đoán hằng "ngây thơ", ở đây cuối cùng: Các số ở các góc, 81 12 ..., là là% của phạm vi và . 3 hàng là 10 tệ nhất, 10 ở giữa và 10 tốt nhất trong tất cả 518 chuỗi thời gian hàng năm.$5^{th}$
Error4(y)length(y$\qquad Error4( y ) \equiv {1 \over 4} \sum_ {last\ 4} |y_i - y_{-5}|$
$Error4(y)$$length(y)$

Rõ ràng, loạt rất ngắn - 12 11 7 7 7 ... ở hàng trên cùng - rất khó dự đoán: không có gì bất ngờ.
(Athanasopoulos, Hyndman, Song và Wu, Cuộc thi Dự báo Du lịch (2011, 23p) đã sử dụng 112 trong tổng số 518 hàng năm, nhưng tôi không thấy cái nào.)

Có khác, các bộ sưu tập mới hơn của chuỗi thời gian kể từ năm 2010, có thể đáng xem không?