Khoảng tin cậy của RMSE

Tôi đã lấy một mẫu gồm điểm dữ liệu từ dân số. Mỗi điểm này có một giá trị thực (được biết từ sự thật mặt đất) và giá trị ước tính. Sau đó tôi tính sai số cho từng điểm được lấy mẫu và sau đó tính RMSE của mẫu. $n$

Làm thế nào tôi có thể suy ra một số khoảng tin cậy xung quanh RMSE này, dựa trên cỡ mẫu ? $n$

Nếu tôi đang sử dụng giá trị trung bình, thay vì RMSE, thì tôi sẽ không gặp vấn đề gì khi làm điều này vì tôi có thể sử dụng phương trình chuẩn

$m = \frac{Z \sigma}{\sqrt{n}}$

nhưng tôi không biết liệu điều này có hợp lệ với RMSE hơn là trung bình không. Có một số cách mà tôi có thể thích nghi này?

(Tôi đã thấy câu hỏi này , nhưng tôi không có vấn đề gì về việc dân số của tôi có được phân phối bình thường hay không, đó là câu trả lời ở đó)

confidence-interval

— cướp
nguồn

Cụ thể bạn đang tính toán gì khi bạn "tính RMSE của mẫu"? Đây có phải là RMSE của các giá trị thực, của các giá trị ước tính hay sự khác biệt của chúng không?

— whuber

Tôi đang tính RMSE về sự khác biệt, nghĩa là tính căn bậc hai của giá trị trung bình của chênh lệch bình phương giữa giá trị thực và giá trị ước tính.

— robintw

Nếu bạn biết "sự thật nền tảng" (mặc dù tôi không chắc điều đó thực sự có nghĩa là gì), tại sao bạn lại cần sự không chắc chắn trong RMSE? Bạn đang cố gắng xây dựng một số loại suy luận về các trường hợp mà bạn không có sự thật cơ bản? Đây có phải là một vấn đề hiệu chuẩn?

— Glen_b -Reinstate Monica

@Glen_b: Yup, đó chính xác là những gì chúng tôi đang cố gắng làm. Chúng tôi không có sự thật nền tảng cho toàn bộ dân số, chỉ cho mẫu. Sau đó, chúng tôi đang tính toán RMSE cho mẫu và chúng tôi muốn có khoảng tin cậy về điều này vì chúng tôi đang sử dụng mẫu này để suy ra RMSE của dân số.

— robintw

Bản sao có thể có của SE của RMSE trong R

— Curious

Câu trả lời:

Với một lý do tương tự như ở đây , tôi có thể có thể đưa ra câu trả lời cho câu hỏi của bạn trong những điều kiện nhất định.

Hãy là giá trị thực của bạn cho điểm dữ liệu và giá trị ước tính. Nếu chúng ta giả định rằng sự khác biệt giữa các giá trị ước tính và giá trị thực có $x_{i}$ $i^{th}$ $\hat{x}_{i}$

zero bình (tức là được phân phối trên toàn ) $\hat{x}_{i}$ $x_{i}$
theo một phân phối bình thường
và tất cả đều có cùng một độ lệch chuẩn $\sigma$

Nói ngắn gọn:

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

sau đó bạn thực sự muốn có một khoảng tin cậy cho . $\sigma$

Nếu các giả định trên giữ đúng sau một phân phối với(không) bậc tự do. Điều này có nghĩa là

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Therefore,

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$ is your confidence interval.

Here is a python program that simulates your situation

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Hope that helps.

If you are not sure whether the assumptions apply or if you want to compare what I wrote to a different method, you could always try bootstrapping.

— fabee
nguồn

I think you are wrong - he wants CI for RMSE, not

σ

$\sigma$ . And I want it too :)

— Curious

I don't think I am wrong. Just think about it like this: The MSE is actually the sample variance since

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$ . The only difference is that you divide by

n

$n$ and not

n - 1

$n-1$ since you are not subtracting the sample mean here. The RMSE would then correspond to

σ

$\sigma$ . Therefore, the population RMSE is

σ

$\sigma$ and you want a CI for that. That's what I derived. Otherwise I must completely misunderstand your problem.

— fabee

The reasoning in the answer by fabee seems correct if applied to the STDE (standard deviation of the error), not the RMSE. Using similar nomenclature, $i=1,\,\ldots,\,n$ is an index representing each record of data, $x_i$ is the true value and $\hat{x}_i$ is a measurement or prediction.

The error $\epsilon_i$ , BIAS, MSE (mean squared error) and RMSE are given by:

ϵ_{i} = {\hat{x}}_{i} - x_{i}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

Agreeing on these definitions, the BIAS corresponds to the sample mean of $\epsilon$ , but MSE is not the biased sample variance. Instead:

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (ϵ_{i} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$ or, if both BIAS and RMSE were computed,

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$ Note that the biased sample variance is being used instead of the unbiased, to keep consistency with the previous definitions given for the MSE and RMSE.

Thus, in my opinion the confidence intervals established by fabee refer to the sample standard deviation of $\epsilon$ , STDE. Similarly, confidence intervals may be established for the BIAS based on the z-score (or t-score if $n<30$ ) and $\left.\text{STDE}\middle/\sqrt{n}\right.$ .

— cvr
nguồn

You are right, but missed a part of my answer. I basically assumed that BIAS=0 (see assumption 1). In that case,

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$ as you derived. Since both

R M S E^{2}

$RMSE^2$ and

B I A S^{2}

$BIAS^2$ are

χ^{2}

$\chi^2$ and there exists a close form solution for the sum of two

χ^{2}

$\chi^2$ RVs, you can probably derive a close form confidence interval for the case when assumption 1 is dropped. If you do that and update your answer, I'll definitely upvote it.

— fabee

Following Faaber 1999, the uncertainty of RMSE is given as

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$ where

n

$n$ is the number of datapoints.

— LKlevin
nguồn