Tại sao sử dụng một biện pháp nhất định về lỗi dự báo (ví dụ MAD) chứ không phải là một biện pháp khác (ví dụ MSE)?

MAD = Độ lệch tuyệt đối trung bình MSE = Lỗi bình phương trung bình

Tôi đã thấy các đề xuất từ ​​nhiều nơi khác nhau mà MSE được sử dụng mặc dù có một số phẩm chất không mong muốn (ví dụ: http://www.stat.nus.edu.sg/~staxyc/T12.pdf , nói trên p8 "Người ta thường tin rằng MAD là một tiêu chí tốt hơn so với MSE. Tuy nhiên, về mặt toán học MSE thuận tiện hơn MAD. ")

Có nhiều hơn thế không? Có một bài viết phân tích kỹ lưỡng các tình huống trong đó các phương pháp đo lường dự báo lỗi khác nhau phù hợp hơn / ít hơn? Tìm kiếm google của tôi không tiết lộ bất cứ điều gì.

Một câu hỏi tương tự như vậy đã được hỏi tại /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde và người dùng được yêu cầu đăng trên stats.stackexchange.com, nhưng tôi không nghĩ họ đã từng làm thế.

Để quyết định sử dụng biện pháp lỗi dự báo điểm nào, chúng ta cần lùi lại một bước. Lưu ý rằng chúng ta không biết kết quả tương lai một cách hoàn hảo, cũng sẽ không bao giờ. Vì vậy, kết quả trong tương lai sau một phân phối xác suất . Một số phương pháp dự báo rõ ràng đưa ra một phân phối đầy đủ như vậy và một số thì không - nhưng nó luôn ở đó, nếu chỉ là ngầm.

Bây giờ, chúng tôi muốn có một thước đo lỗi tốt cho dự báo điểm . Dự báo điểm như vậy $F_t$ là nỗ lực của chúng tôi để tóm tắt những gì chúng ta biết về phân phối trong tương lai (nghĩa là phân phối dự báo) tại thời điểm $t$ sử dụng một số duy nhất, được gọi là chức năng của mật độ tương lai. Các biện pháp lỗi sau đó là một cách để đánh giá chất lượng của bản tóm tắt số duy nhất này.

Vì vậy, bạn nên chọn một thước đo lỗi thưởng cho các bản tóm tắt một số "tốt" (chưa biết, có thể dự báo, nhưng có thể chỉ ẩn) trong tương lai.

Thách thức là các biện pháp lỗi khác nhau được giảm thiểu bởi các chức năng khác nhau. MSE dự kiến ​​được giảm thiểu bởi giá trị dự kiến của phân phối trong tương lai. MAD dự kiến ​​được giảm thiểu bởi trung vị của phân phối trong tương lai. Do đó, nếu bạn hiệu chỉnh dự báo của mình để giảm thiểu MAE, dự báo điểm của bạn sẽ là trung vị tương lai, không phải giá trị dự kiến ​​trong tương lai và dự báo của bạn sẽ bị sai lệch nếu phân phối trong tương lai của bạn không đối xứng.

Điều này có liên quan nhất đối với dữ liệu đếm, thường bị lệch. Trong các trường hợp cực đoan (giả sử, doanh số phân phối Poisson với giá trị trung bình dưới $\log 2\approx 0.69$ ), MAE của bạn sẽ thấp nhất cho dự báo bằng không. Xem ở đây hoặc ở đây hoặc ở đây để biết chi tiết.

Tôi cung cấp thêm một số thông tin và một minh họa trong Những thiếu sót của Lỗi phần trăm tuyệt đối trung bình (MAPE) là gì? Chủ đề đó xem xét mape , nhưng cũng có các biện pháp lỗi khác và nó chứa các liên kết đến các chủ đề liên quan khác.

Cuối cùng, biện pháp lỗi nào được sử dụng thực sự phụ thuộc vào Chi phí Lỗi Dự báo của bạn, nghĩa là loại lỗi nào gây đau đớn nhất. Không nhìn vào ý nghĩa thực tế của các lỗi dự báo, bất kỳ cuộc thảo luận nào về "tiêu chí tốt hơn" về cơ bản là vô nghĩa.

Các biện pháp về độ chính xác dự báo là một chủ đề lớn trong cộng đồng dự báo vài năm trước, và chúng vẫn bật lên ngay bây giờ và sau đó. Một bài viết rất hay để xem là Hyndman & Koehler "Một cái nhìn khác về các biện pháp chính xác dự báo" (2006).

Cuối cùng, một cách khác là tính toán mật độ dự đoán đầy đủ và đánh giá chúng bằng cách sử dụng quy tắc chấm điểm thích hợp .

Những lợi ích của việc sử dụng MAE thay vì MSE được giải thích trong Davydenko và Fildes (2016) , xem Phần 3.1:

... Một số tác giả (ví dụ, Zellner, 1986) cho rằng tiêu chí mà chúng tôi đánh giá dự báo phải tương ứng với tiêu chí mà chúng tôi tối ưu hóa dự báo. Nói cách khác, nếu chúng ta tối ưu hóa các ước tính bằng cách sử dụng một số hàm mất mát nhất định, chúng ta phải sử dụng cùng một hàm mất mát để đánh giá theo kinh nghiệm để tìm ra mô hình nào tốt hơn.

Lắp một mô hình thống kê thường đưa ra dự báo tối ưu theo tổn thất bậc hai. Điều này, ví dụ, xảy ra khi chúng ta phù hợp với hồi quy tuyến tính. Nếu dự báo mật độ của chúng ta từ mô hình thống kê là đối xứng, thì dự báo tối ưu theo tổn thất bậc hai cũng tối ưu theo tổn thất tuyến tính. Nhưng, nếu chúng ta ổn định phương sai bằng cách chuyển đổi log và sau đó chuyển đổi dự báo theo cấp số nhân, chúng ta sẽ nhận được dự báo tối ưu chỉ khi mất tuyến tính. Nếu chúng ta sử dụng một tổn thất khác, trước tiên chúng ta phải có được dự báo mật độ bằng mô hình thống kê và sau đó điều chỉnh ước tính của chúng tôi với hàm mất cụ thể của chúng tôi (xem các ví dụ về thực hiện điều này trong Goodwin, 2000).

Giả sử chúng ta muốn so sánh thực nghiệm hai phương pháp và tìm ra phương pháp nào tốt hơn về tổn thất tuyến tính đối xứng (vì loại tổn thất này thường được sử dụng trong mô hình hóa). Nếu chúng ta chỉ có một chuỗi thời gian, có vẻ tự nhiên sử dụng một lỗi tuyệt đối trung bình (MAE). Ngoài ra, MAE rất hấp dẫn vì nó đơn giản để hiểu và tính toán (Hyndman, 2006) ...

Người giới thiệu

Davydenko, A., & Fildes, R. (2016). Các biện pháp lỗi dự báo: Đánh giá quan trọng và khuyến nghị thực tế. Trong dự báo kinh doanh: Các vấn đề và giải pháp thực tế. John Wiley & Sons

$RMSE = \sqrt{MSE}$$MAE = MAD$

Thực ra,

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• $e$
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

$MAE \leq RMSE \leq \sqrt{MAE}$$y_i$$\hat y_i$$\in [0, 1]$

• $e_i$$\leq 1$
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  $n_{wrong}$$e_i \in [0, 1]$$e_i < 1$

Nếu RMSE gần MAE, bạn có nhiều sai lệch nhỏ, nếu nó gần với giới hạn trên của nó, có rất ít dự đoán sai.