RMSE và MAE có thể có cùng giá trị không?

Tôi đang triển khai xác thực chéo và tính toán các số liệu lỗi như RMSE, , MAE, MSE, v.v.$R^2$

RMSE và MAE có thể có cùng giá trị không?

Vâng, trên lý thuyết. Trường hợp đơn giản nhất tôi có thể tưởng tượng là một tập dữ liệu trong đó tất cả các lỗi dự đoán (tức là phần dư) chính xác là 1. RMSE và MAE sẽ trả về các giá trị giống hệt nhau của 1. Người ta cũng có thể xây dựng các kịch bản khác, nhưng dường như không có khả năng nào xảy ra.$\pm$

EDIT: Cảm ơn @DilipSarwate đã chỉ ra (được chi tiết thêm bởi @ user20160 trong câu trả lời xuất sắc của họ) rằng kết quả này có thể xảy ra nếu và chỉ khi các giá trị tuyệt đối của tất cả các lỗi dự đoán là giống hệt nhau. Nói cách khác, không có gì đặc biệt về giá trị 1 trong ví dụ của tôi; bất kỳ số nào khác sẽ làm việc thay vì 1.$\pm$

Lỗi tuyệt đối trung bình (MAE) có thể bằng lỗi bình phương trung bình (MSE) hoặc lỗi bình phương trung bình gốc (RMSE) trong các điều kiện nhất định, mà tôi sẽ trình bày dưới đây. Những điều kiện này không có khả năng xảy ra trong thực tế.

Sơ bộ

Đặt $r_i = |y_i - \hat{y}_i|$biểu thị giá trị tuyệt đối của số dư các $i$ th điểm dữ liệu, và để cho $r = [r_i, \dots, r_n]^T$ là một vector chứa dư tuyệt đối cho tất cả $n$ điểm trong tập dữ liệu. Để $\vec{1}$ biểu thị một vectơ $n \times 1$ của các vectơ, MAE, MSE và RMSE có thể được viết là:

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Đặt MSE bằng với MAE và sắp xếp lại sẽ cho:

$$(r - \vec{1})^T r = 0 \tag{2}$$

MSE và MAE bằng nhau cho tất cả các bộ dữ liệu trong đó phần dư tuyệt đối giải phương trình trên. Hai giải pháp rõ ràng là: (không có lỗi) và (phần dư đều là , như mkt đã đề cập). Nhưng, có vô số giải pháp.$r = \vec{0}$$r = \vec{1}$$\pm 1$

Chúng ta có thể giải thích phương trình mặt hình học như sau: LHS là sản phẩm chấm của và . Sản phẩm không có dấu chấm ngụ ý tính trực giao. Vì vậy, MSE và MAE bằng nhau nếu trừ 1 từ mỗi phần dư tuyệt đối sẽ cho một vectơ trực giao với phần dư tuyệt đối ban đầu.$(2)$$r-\vec{1}$$r$

Hơn nữa, bằng cách hoàn thành hình vuông, phương trình có thể được viết lại thành:$(2)$

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Phương trình này mô tả một cầu chiều tập trung tại với bán kính . MSE và MAE bằng nhau khi và chỉ khi phần dư tuyệt đối nằm trên bề mặt của siêu cầu này.$n$$[\frac{1}{2}, \dots, \frac{1}{2}]^T$$\frac{1}{2} \sqrt{n}$

RMSE

Đặt RMSE bằng với MAE và sắp xếp lại sẽ cho:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

trong đó là ma trận danh tính. Bộ giải pháp là không gian rỗng của ; nghĩa là tập hợp tất cả sao cho . Để tìm không gian rỗng, lưu ý rằng là ma trận với các phần tử đường chéo bằng và tất cả các phần tử khác bằng . Câu lệnh tương ứng với hệ phương trình:$I$A r A r = → 0 A n × n n - 1 - 1 A r = → 0$A$$r$$A r = \vec{0}$$A$$n \times n$$n-1$$-1$$A r = \vec{0}$

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Hoặc, sắp xếp lại mọi thứ:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

Nghĩa là, mọi phần tử phải bằng giá trị trung bình của các phần tử khác. Cách duy nhất để đáp ứng yêu cầu này là cho tất cả các yếu tố bằng nhau (kết quả này cũng có thể đạt được bằng cách xem xét sự xuất tinh của ). Do đó, bộ giải pháp bao gồm tất cả các vectơ không âm với các mục giống nhau:$r_i$$A$

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Vì vậy, RMSE và MAE bằng nhau khi và chỉ khi các giá trị tuyệt đối của phần dư bằng nhau cho tất cả các điểm dữ liệu.