Những thiếu sót của lỗi phần trăm tuyệt đối trung bình (MAPE) là gì?

Các Mean Absolute Tỷ Lỗi ( mape ) là một độ chính xác chung hoặc biện pháp lỗi cho chuỗi thời gian hoặc những dự đoán khác,

trong đó là thực tế và dự báo hoặc dự đoán tương ứng.F $A_t$$F_t$

MAPE là một tỷ lệ phần trăm, vì vậy chúng ta có thể dễ dàng so sánh nó giữa các chuỗi và mọi người có thể dễ dàng hiểu và giải thích tỷ lệ phần trăm.

Tuy nhiên, tôi nghe rằng MAPE có nhược điểm. Tôi muốn hiểu rõ hơn về những hạn chế này để tôi có thể đưa ra quyết định sáng suốt về việc nên sử dụng MAPE hay một số phương án khác như MSE ( mse ), MAE ( mae ) hoặc MASE ( mase ).

Những thiếu sót của MAPE

• MAPE, tính theo phần trăm, chỉ có ý nghĩa đối với các giá trị trong đó các phân chia và tỷ lệ có ý nghĩa. Chẳng hạn, việc tính toán tỷ lệ phần trăm của nhiệt độ là không hợp lý, vì vậy bạn không nên sử dụng MAPE để tính độ chính xác của dự báo nhiệt độ.

• Nếu chỉ một thực tế duy nhất là 0, , thì bạn chia cho 0 khi tính MAPE, không xác định.$A_t=0$

  Nó chỉ ra rằng một số phần mềm dự báo tuy nhiên báo cáo một MAPE cho loạt như vậy, chỉ đơn giản bằng cách giảm thời gian với thực tế bằng không ( Hoover, 2006 ). Không cần phải nói, đây không phải là một ý tưởng hay, vì nó ngụ ý rằng chúng tôi không quan tâm đến tất cả những gì chúng tôi dự báo nếu thực tế bằng không - nhưng dự báo và một trong có thể có ý nghĩa rất khác nhau . Vì vậy, hãy kiểm tra những gì phần mềm của bạn làm.$F_t=100$$F_t=1000$

  Nếu chỉ có một vài số không xảy ra, bạn có thể sử dụng MAPE có trọng số ( Kolassa & Schütz, 2007 ), tuy nhiên vẫn có vấn đề của riêng nó. Điều này cũng áp dụng cho MAPE đối xứng ( Goodwin & Lawton, 1999 ).

• MAPEs lớn hơn 100% có thể xảy ra. Nếu bạn thích làm việc với độ chính xác, mà một số người định nghĩa là 100% -MAPE, thì điều này có thể dẫn đến độ chính xác tiêu cực, điều mà mọi người có thể khó hiểu. ( Không, cắt ngắn độ chính xác ở mức 0 không phải là một ý tưởng hay. )

• Nếu chúng tôi có dữ liệu tích cực nghiêm ngặt mà chúng tôi muốn dự báo (và ở trên, MAPE không có ý nghĩa gì khác), thì chúng tôi sẽ không bao giờ dự báo dưới mức không. MAPE không may xử lý các dự báo quá mức khác với dự báo: một dự án dưới mức sẽ không bao giờ đóng góp nhiều hơn 100% (ví dụ: nếu và ), nhưng đóng góp của một dự báo quá mức sẽ không bị ràng buộc (ví dụ: nếu và ). Điều này có nghĩa là MAPE có thể thấp hơn cho sai lệch so với dự báo không thiên vị. Giảm thiểu nó có thể dẫn đến dự báo là sai lệch thấp.$F_t=0$$A_t=1$$F_t=5$$A_t=1$

Đặc biệt là điểm đạn cuối cùng đáng suy nghĩ hơn một chút. Đối với điều này, chúng ta cần phải lùi lại một bước.

Để bắt đầu, lưu ý rằng chúng ta không biết kết quả tương lai một cách hoàn hảo, chúng ta cũng sẽ không bao giờ. Vì vậy, kết quả trong tương lai sau một phân phối xác suất. Cái gọi là dự báo điểm của chúng tôi là nỗ lực của chúng tôi để tóm tắt những gì chúng tôi biết về phân phối trong tương lai (nghĩa là phân phối dự đoán ) tại thời điểm sử dụng một số duy nhất. MAPE sau đó là thước đo chất lượng của toàn bộ chuỗi các bản tóm tắt số đơn như vậy của các bản phân phối trong tương lai tại các thời điểm .$F_t$ t t = 1 , Mạnh , n$t$$t=1, \dots, n$

Vấn đề ở đây là người ta hiếm khi rõ ràng nói những gì một tốt một số-summary của một phân phối trong tương lai là.

Khi bạn nói chuyện với người tiêu dùng dự báo, họ thường sẽ muốn là chính xác "trung bình". Đó là, họ muốn là kỳ vọng hoặc giá trị trung bình của phân phối trong tương lai, thay vì nói, trung vị của nó.$F_t$$F_t$

Đây là vấn đề: tối thiểu hóa MAPE thường sẽ không khuyến khích chúng ta đưa ra kỳ vọng này, mà là một bản tóm tắt một số khá khác nhau ( McKenzie, 2011 , Kolassa, 2020 ). Điều này xảy ra vì hai lý do khác nhau.

• Phân phối tương lai không đối xứng. Giả sử phân phối tương lai thực sự của chúng tôi tuân theo phân phối cố định . Hình ảnh sau đây cho thấy một chuỗi thời gian mô phỏng, cũng như mật độ tương ứng.$(\mu=1,\sigma^2=1)$

  

  Các đường ngang đưa ra dự báo điểm tối ưu, trong đó "tối ưu" được định nghĩa là giảm thiểu lỗi dự kiến ​​cho các biện pháp lỗi khác nhau.

  • Đường nét đứt tại tối thiểu hóa MSE dự kiến. Đó là sự kỳ vọng của chuỗi thời gian.$F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
  • Đường chấm chấm tại tối thiểu hóa MAE dự kiến. Nó là trung vị của chuỗi thời gian.$F_t=\exp\mu\approx 2.7$
  • Đường chấm chấm ở thu nhỏ MAPE dự kiến. Đó là (-1) -median của chuỗi thời gian ( Gneiting, 2011 , p. 752 với ), trong trường hợp cụ thể của phân phối lognatural xảy ra trùng với chế độ phân phối .$F_t=\exp(\mu-\sigma^2)=1.0$β = - 1$\beta=-1$

  Chúng tôi thấy rằng sự bất cân xứng của phân phối trong tương lai, cùng với việc MAPE khác biệt xử phạt quá mức và thiếu dự báo, ngụ ý rằng việc giảm thiểu MAPE sẽ dẫn đến dự báo sai lệch nặng nề . ( Dưới đây là tính toán dự báo điểm tối ưu trong trường hợp gamma. )

• Phân bố đối xứng với hệ số biến thiên cao. Giả sử rằng xuất phát từ việc lăn một cái chết sáu mặt tiêu chuẩn tại mỗi thời điểm . Hình dưới đây một lần nữa cho thấy một đường dẫn mẫu mô phỏng:$A_t$$t$

  

  Trong trường hợp này:

  • Đường nét đứt tại giảm thiểu MSE dự kiến. Đó là sự kỳ vọng của chuỗi thời gian.$F_t=3.5$

  • Bất kỳ dự báo (không được hiển thị trong biểu đồ) sẽ giảm thiểu MAE dự kiến. Tất cả các giá trị trong khoảng này là trung vị của chuỗi thời gian.$3\leq F_t\leq 4$

  • Đường chấm chấm ở thu nhỏ MAPE dự kiến.$F_t=2$

  Một lần nữa chúng ta lại thấy cách tối thiểu hóa MAPE có thể dẫn đến một dự báo sai lệch, bởi vì hình phạt khác biệt mà nó áp dụng cho các dự báo quá mức và thiếu dự báo. Trong trường hợp này, vấn đề không đến từ phân phối bất đối xứng, mà từ hệ số biến đổi cao của quy trình tạo dữ liệu của chúng tôi.

  Đây thực sự là một minh họa đơn giản mà bạn có thể sử dụng để dạy mọi người về những thiếu sót của MAPE - chỉ cần đưa cho người tham dự của bạn một vài viên xí ngầu và cho họ lăn. Xem Kolassa & Martin (2011) để biết thêm thông tin.

Câu hỏi CrossValidated liên quan

• Sự khác biệt giữa MSE và MAPE
• Cách tốt nhất để tối ưu hóa MAPE
• Giảm thiểu lỗi phần trăm tuyệt đối có nghĩa là đối xứng (SMAPE)
• MAPE vs R bình phương trong mô hình hồi quy
• Tại sao sử dụng một biện pháp nhất định về lỗi dự báo (ví dụ MAD) thay vì một biện pháp khác (ví dụ MSE)?

Mã R

Ví dụ logic:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Ví dụ súc sắc lăn:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Tài liệu tham khảo

Gneiting, T. Lập và Đánh giá Dự báo Điểm . Tạp chí của Hiệp hội Thống kê Hoa Kỳ , 2011, 106, 746-762

Goodwin, P. & Lawton, R. Về sự bất đối xứng của MAPE đối xứng . Tạp chí quốc tế dự báo , 1999, 15, 405-408

Hoover, J. Đo lường độ chính xác của dự báo: Những thiếu sót trong công cụ dự báo và phần mềm lập kế hoạch nhu cầu ngày nay . Tầm nhìn xa: Tạp chí quốc tế về dự báo ứng dụng , 2006, 4, 32-35

Kolassa, S. Tại sao dự báo điểm "tốt nhất" phụ thuộc vào sai số hoặc độ chính xác (Bình luận được mời về cuộc thi dự báo M4). Tạp chí dự báo quốc tế , 2020, 36 (1), 208-211

Kolassa, S. & Martin, R. Lỗi phần trăm có thể làm hỏng ngày của bạn (và tung xúc xắc cho thấy thế nào) . Tầm nhìn xa: Tạp chí quốc tế về dự báo ứng dụng, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Ưu điểm của tỷ lệ MAD / Trung bình so với MAPE . Tầm nhìn xa: Tạp chí quốc tế về dự báo ứng dụng , 2007, 6, 40-43

McKenzie, J. Có nghĩa là sai số phần trăm tuyệt đối và sai lệch trong dự báo kinh tế . Thư kinh tế , 2011, 113, 259-262