Làm thế nào để giải thích lỗi bình phương gốc (RMSE) so với độ lệch chuẩn?

Hãy nói rằng tôi có một mô hình mang lại cho tôi các giá trị dự kiến. Tôi tính RMSE của các giá trị đó. Và sau đó độ lệch chuẩn của các giá trị thực tế.

Liệu nó có ý nghĩa gì để so sánh hai giá trị (phương sai) đó không? Những gì tôi nghĩ là, nếu RMSE và độ lệch chuẩn là tương tự / giống nhau thì lỗi / phương sai của mô hình của tôi giống như những gì đang thực sự xảy ra. Nhưng nếu nó thậm chí không có ý nghĩa để so sánh các giá trị đó thì kết luận này có thể sai. Nếu suy nghĩ của tôi là đúng, thì điều đó có nghĩa là mô hình đó tốt nhất có thể bởi vì nó không thể quy kết điều gì gây ra phương sai? Tôi nghĩ rằng phần cuối có lẽ là sai hoặc ít nhất là cần thêm thông tin để trả lời.

Hãy nói rằng phản ứng của chúng tôi là và giá trị dự đoán của chúng tôi là y 1 , ... , y n .$y_1, \dots, y_n$$\hat y_1, \dots, \hat y_n$

Phương sai mẫu (sử dụng thay vì n - 1 để đơn giản) là $n$$n-1$trong khi MSE là$\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$. Do đó, phương sai mẫu cho biết mức độ phản hồi khác nhau xung quanh giá trị trung bình trong khi MSE đưa ra mức độ phản ứng khác nhau xung quanh dự đoán của chúng tôi. Nếu chúng ta nghĩ về tổng thể trung bình ˉ y như là yếu tố dự báo đơn giản nhất mà chúng tôi từng xem xét, sau đó bằng cách so sánh MSE với phương sai mẫu của các câu trả lời chúng ta có thể thấy thêm bao nhiêu biến thể chúng tôi đã giải thích với mô hình của chúng tôi. Đây chính xác là những gìgiá trịR2thực hiện trong hồi quy tuyến tính.$\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$$\bar y$$R^2$

Xem xét hình ảnh sau: Phương sai mẫu của là độ biến thiên xung quanh đường ngang. Nếu chúng ta chiếu tất cả dữ liệu lên trục Y, chúng ta có thể thấy điều này. MSE là khoảng cách trung bình bình phương vào dòng hồi quy, tức là sự thay đổi xung quanh đường hồi quy (tức là y i ). Vì vậy, độ biến thiên được đo bằng phương sai mẫu là khoảng cách bình phương trung bình đến đường ngang, mà chúng ta có thể thấy là lớn hơn nhiều so với khoảng cách bình phương trung bình đối với đường hồi quy. $y_i$$Y$$\hat y_i$

$\hat{y}_i = \bar{y}$$\bar{y}$

$\hat{y}_i$

đó là dễ nhất để tính toán.

Trong trường hợp không có thông tin tốt hơn, giá trị trung bình của biến mục tiêu có thể được coi là ước tính đơn giản cho các giá trị của biến mục tiêu, cho dù cố gắng mô hình hóa dữ liệu hiện có hoặc cố gắng dự đoán các giá trị trong tương lai. Ước tính đơn giản này của biến mục tiêu (nghĩa là các giá trị dự đoán đều bằng giá trị trung bình của biến mục tiêu) sẽ bị tắt bởi một lỗi nhất định. Một cách tiêu chuẩn để đo sai số trung bình là độ lệch chuẩn (SD) ,$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$, vì SD có đặc tính tốt là phù hợp với phân phối hình chuông (Gaussian) nếu biến mục tiêu thường được phân phối. Vì vậy, SD có thể được coi là lượng lỗi xảy ra tự nhiên trong các ước tính của biến mục tiêu. Điều này làm cho nó trở thành chuẩn mực mà bất kỳ mô hình nào cũng cần phải cố gắng đánh bại.

Có nhiều cách khác nhau để đo lường sai số của ước lượng mô hình ; trong số đó, Lỗi bình phương gốc (RMSE) mà bạn đã đề cập,$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$, là một trong những phổ biến nhất. Về mặt khái niệm nó khá giống với SD: thay vì đo giá trị trung bình so với giá trị trung bình, nó sử dụng cùng một công thức để đo khoảng cách của một giá trị thực từ dự đoán của mô hình cho giá trị đó. Trung bình, một mô hình tốt nên có dự đoán tốt hơn so với ước tính ngây thơ về giá trị trung bình cho tất cả các dự đoán. Do đó, thước đo biến đổi (RMSE) sẽ làm giảm tính ngẫu nhiên tốt hơn SD.

Đối số này áp dụng cho các biện pháp lỗi khác, không chỉ với RMSE, mà RMSE đặc biệt hấp dẫn để so sánh trực tiếp với SD vì các công thức toán học của chúng là tương tự nhau.