Có nghĩa là lỗi tuyệt đối HOẶC lỗi bình phương gốc?

Tại sao sử dụng Lỗi trung bình bình phương (RMSE) thay vì Lỗi tuyệt đối trung bình (MAE) ??

Chào

Tôi đã điều tra lỗi được tạo trong một phép tính - Ban đầu tôi đã tính lỗi là Lỗi bình phương bình thường gốc.

Nhìn kỹ hơn một chút, tôi thấy các tác động của bình phương lỗi gây ra trọng số lớn hơn cho các lỗi lớn hơn so với các lỗi nhỏ hơn, làm sai lệch ước tính lỗi đối với ngoại lệ lẻ. Điều này là khá rõ ràng khi nhìn lại.

Vì vậy, câu hỏi của tôi - trong trường hợp nào thì Lỗi bình phương gốc có thể là thước đo lỗi thích hợp hơn so với Lỗi tuyệt đối trung bình? Cái sau có vẻ phù hợp hơn với tôi hay tôi đang thiếu thứ gì đó?

Để minh họa điều này tôi đã đính kèm một ví dụ dưới đây:

Biểu đồ phân tán cho thấy hai biến có mối tương quan tốt,
hai biểu đồ bên phải biểu đồ lỗi giữa Y (quan sát) và Y (dự đoán) sử dụng RMSE chuẩn hóa (trên cùng) và MAE (dưới cùng).

nhập mô tả hình ảnh ở đây

Không có ngoại lệ đáng kể trong dữ liệu này và MAE cho lỗi thấp hơn RMSE. Có bất kỳ lý do nào, ngoài MAE được ưa thích hơn, vì sử dụng một biện pháp lỗi so với cái kia không?

— người dùng1665220
nguồn

Vì RMSE và MAE là hai thước đo lỗi khác nhau, nên so sánh bằng số giữa chúng (có liên quan đến việc khẳng định MAE "thấp hơn" so với RMSE) có vẻ không có ý nghĩa. Dòng đó phải phù hợp theo một số tiêu chí: tiêu chí đó , bất kể đó là gì, phải là thước đo lỗi liên quan.

— whuber

dòng được trang bị bằng cách sử dụng các ô vuông nhỏ nhất - nhưng pic chỉ là một ví dụ để cho thấy sự khác biệt về sai số đo được. Vấn đề thực sự của tôi là trong việc sử dụng trình tối ưu hóa để giải quyết bốn tham số chức năng cho một số biện pháp giảm thiểu lỗi, MAE hoặc RMSE.

— dùng1665220

Cảm ơn bạn đã làm rõ. Nhưng chính xác thì lỗi gì bạn quan tâm? Các lỗi trong sự phù hợp hoặc các lỗi trong các ước tính tham số ?

— whuber

Các lỗi trong phù hợp. Tôi có một số mẫu phòng thí nghiệm cung cấp cho y, mà tôi muốn dự đoán bằng cách sử dụng hàm. Tôi tối ưu hóa chức năng cho 4 số mũ bằng cách giảm thiểu lỗi cho sự phù hợp giữa dữ liệu được quan sát và dự đoán.

— dùng1665220

Trong RMSE, chúng tôi xem xét gốc của số lượng mặt hàng (n). Đó là root của MSE chia cho root của n. Root của MSE là ok, nhưng thay vì chia cho n, nó được chia cho root của n để nhận RMSE. Tôi cảm thấy rằng nó sẽ là một chính sách. Thực tế sẽ là (Root của MSE) / n. Theo cách đó MAE là tốt hơn.

Câu trả lời:

Điều này phụ thuộc vào chức năng mất của bạn. Trong nhiều trường hợp, việc tăng thêm trọng lượng cho các điểm càng xa trung bình - nghĩa là, giảm 10 lần còn tệ hơn gấp đôi so với 5. Trong trường hợp như vậy, RMSE là thước đo lỗi thích hợp hơn.

Nếu bị giảm mười lần chỉ tệ gấp đôi so với giảm 5, thì MAE thích hợp hơn.

Trong mọi trường hợp, sẽ không hợp lý khi so sánh RMSE và MAE với nhau như bạn làm trong câu thứ hai đến câu cuối ("MAE đưa ra lỗi thấp hơn RMSE"). MAE sẽ không bao giờ cao hơn RMSE vì cách chúng được tính toán. Chúng chỉ có ý nghĩa so với cùng một thước đo lỗi: bạn có thể so sánh RMSE cho Phương pháp 1 với RMSE cho Phương pháp 2 hoặc MAE cho Phương pháp 1 với MAE cho Phương pháp 2, nhưng bạn không thể nói MAE tốt hơn RMSE cho Phương pháp 1 vì nó nhỏ hơn.

— Jonathan Christensen
nguồn

Tôi hiểu rằng MAE sẽ không bao giờ cao hơn RMSE. Tôi đã sử dụng cả hai ước tính lỗi và xem xét sự khác biệt giữa các giá trị để đưa ra dấu hiệu về tác động của các ngoại lệ. Tức là khi họ ở rất gần, khi họ xa nhau hơn, tôi điều tra để xem chuyện gì đang xảy ra. Cuối cùng, tôi muốn dự đoán các tham số phù hợp nhất với dữ liệu và ví dụ 9% lỗi âm thanh tốt hơn 12% - tôi chỉ muốn đảm bảo rằng tôi đang chọn đúng cho đúng lý do. Chúc mừng cho lời khuyên của bạn

— user1665220

Sự khác biệt chính giữa RMSE (do đó MSE) và MAE không phải là về cách chúng có lỗi trọng lượng. Bạn có thể sử dụng chức năng cân nếu cần. Sự khác biệt chính là MSE có liên quan đến L2 Space (MAE không có điều đó). Vì vậy, ví dụ, MSE có thể đo lượng năng lượng cần thiết cho điều khiển vòng kín khi E là tín hiệu phản hồi (Ghi nhớ bình phương trung bình của tín hiệu, Lỗi trong trường hợp này, tỷ lệ thuận với năng lượng của nó). Ngoài ra rất nhiều toán học và do đó các thuật toán như Marquest-Levenberg hoạt động trong không gian này. Nói một cách đơn giản, họ sử dụng MSE làm chức năng mục tiêu của họ.

— eulerleibniz

Đây là một tình huống khác khi bạn muốn sử dụng (R) MSE thay vì MAE: khi phân phối có điều kiện quan sát của bạn không đối xứng và bạn muốn có sự phù hợp không thiên vị. (R) MSE được giảm thiểu theo giá trị trung bình có điều kiện , MAE theo trung vị có điều kiện . Vì vậy, nếu bạn giảm thiểu MAE, sự phù hợp sẽ gần với trung vị và sai lệch.

Tất nhiên, tất cả điều này thực sự phụ thuộc vào chức năng mất của bạn.

Vấn đề tương tự xảy ra nếu bạn đang sử dụng MAE hoặc (R) MSE để đánh giá dự đoán hoặc dự báo . Chẳng hạn, dữ liệu bán hàng khối lượng thấp thường có phân phối không đối xứng. Nếu bạn tối ưu hóa MAE, bạn có thể ngạc nhiên khi thấy rằng dự báo tối ưu MAE là dự báo bằng không.

Đây là một bài trình bày nhỏ về điều này , và đây là một bình luận được mời gần đây về cuộc thi dự báo M4 nơi tôi đã giải thích hiệu ứng này .

— S. Kolassa - Tái lập Monica
nguồn

+1. Ý tưởng so sánh các bản phân phối là tuyệt vời nhưng ... sẽ không một số liệu nào giống như số liệu bạn trình bày thất bại thảm hại trong một cái gì đó như thế N = 1e3; set.seed(1); y = rpois(N, lambda=1); yhat = c(y[2:N],0)nào? Mật độ dự đoán "sự khác biệt" sẽ là tối thiểu nhưng thực tế yhatsẽ là vô ích. Cấp, đây là một trường hợp cực đoan. (Tôi có thể đang thiếu một cái gì đó rõ ràng, xin lỗi vì điều đó trước - tôi không có quyền truy cập vào bài báo chỉ là bài thuyết trình.)

— usεr11852 nói Rebstate Monic

@ usεr11852: có, chuỗi dự báo điểm của bạn sẽ vô dụng, và đặc biệt, tệ hơn nhiều so với dự báo phẳng (cả trung bình và trung bình, vì vậy nó tối ưu cho cả MAE và MSE) . Dự báo mật độ không chỉ là một chuỗi các dự báo điểm! Đó là một dự đoán mật độ hoàn chỉnh cho từng thời điểm trong tương lai . Vì vậy, chúng tôi sẽ dự đoán Pois (1) cho lần đầu tiên, cho lần thứ hai, cho lần thứ ba, v.v.

\hat{y} = 1

$\hat{y}=1$

— S. Kolassa - Tái lập Monica

Cảm ơn bạn rất nhiều vì đã làm rõ; Tôi có thể khái niệm hóa bài thuyết trình tốt hơn bây giờ. (Hmm ... tôi cần phải giữ giấy của bạn sau tất cả. :))

— usεr11852 nói Phục hồi Monic

@ usεr11852: vui lòng liên hệ với tôi qua email ( tìm địa chỉ tại đây ) - nếu thư của bạn không kết thúc trong bộ lọc thư rác của tôi, tôi sẽ vui lòng gửi cho bạn tờ giấy đó.

— S. Kolassa - Tái lập Monica

@ usεr11852 Tôi hoàn toàn mất bạn sau khi "thích N =" đó là gì?

— sak

RMSE là một cách tự nhiên hơn để mô tả sự mất mát trong khoảng cách Euclide. Do đó, nếu bạn vẽ biểu đồ dưới dạng 3D, phần mất là hình nón, như bạn có thể thấy ở trên có màu xanh lục. Điều này cũng áp dụng cho kích thước cao hơn, mặc dù khó hình dung hơn.

MAE có thể được coi là khoảng cách khối thành phố. Đó không phải là cách tự nhiên để đo lường sự mất mát, như bạn có thể thấy trong biểu đồ màu xanh lam.

— đà nẵng
nguồn