Phân rã MSE thành phương sai và bình phương

Khi chỉ ra rằng MSE có thể bị phân rã thành phương sai cộng với bình phương Bias, bằng chứng trong Wikipedia có một bước, được tô sáng trong hình. Cái này hoạt động ra sao? Làm thế nào là kỳ vọng được đẩy vào sản phẩm từ bước 3 đến bước 4? Nếu hai điều khoản là độc lập, không nên kỳ vọng được áp dụng cho cả hai điều khoản? và nếu họ không, bước này có hợp lệ không? nhập mô tả hình ảnh ở đây

random-variable expected-value mse

— statBeginner
nguồn

Câu trả lời:

Thủ thuật là là một hằng số. $\mathbb{E}(\hat{\theta}) - \theta$

— Adam
nguồn

Ồ tôi hiểu rồi. Điều duy nhất chưa biết ở đây là công cụ ước tính. Đúng?

— statBeginner

Vâng. Đặt kỳ vọng có nghĩa là người ước tính đi đến bất cứ điều gì nó ước tính, đó là điều làm cho thành 0.

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— AdamO

Xin lỗi, câu đó không có ý nghĩa nhiều với tôi. Nếu một người ước tính đi đến bất cứ điều gì nó đang ước tính, điều đó sẽ không làm cho nó không thiên vị? Có thể giải thích bằng cách nói = =

= 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— dùng1158559

@ user1158559 thuật ngữ sản phẩm ở giữa là số lần không đổi với giá trị mong đợi 0. Ngay cả khi mũ theta bị sai lệch, nó vẫn không đổi lần 0.

— AdamO

là một biến và không phải là một hằng số. Ngoài ra, các Bí quyết là ít tầm thường và

với

là một hằng số không trở thành 0 như mặc định (ví dụ

). Bí quyết thực nằm trong thực tế là

là hằng số (và có thể được đưa ra khỏi một thể thiếu) để

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sextus Empiricus

Câu trả lời của Adam là đúng về trick mà là một hằng số. Tuy nhiên, nó giúp tìm ra kết quả cuối cùng, và không giải thích rõ ràng câu hỏi về bước cụ thể trong bài viết trên wikipedia (chỉnh sửa: mà tôi thấy bây giờ là mơ hồ về điểm nổi bật và bước từ dòng ba đến dòng bốn). $E(\hat{\theta}) - \theta$

(lưu ý câu hỏi là về biến , mà khác với hằng số trong câu trả lời của Adam tôi đã viết sai này trong nhận xét của tôi mở rộng các điều khoản cho rõ ràng hơn:. các. biến được ước tính , hằng là những kỳ vọng của ước tính này và giá trị thực sự ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Thủ thuật 1: Cân nhắc

biến $x=\hat{\theta}$

hằng số $a=\mathbb{E}\left[ \hat{\theta} \right]$

và hằng số $b = \theta$

Sau đó, mối quan hệ có thể được viết dễ dàng bằng cách sử dụng các quy tắc biến đổi biểu thị các khoảnh khắc của biến về theo các khoảnh khắc của biến về . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Thủ thuật 2: Đối với khoảnh khắc thứ hai, công thức trên có ba thuật ngữ trong tổng kết. Chúng ta có thể loại bỏ một trong số họ (trường hợp ) vì $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Ở đây người ta cũng có thể làm cho cuộc tranh luận với một cái gì đó là một hằng số. Cụ thể là nếu là một hằng số và sử dụng , đó là một hằng số, bạn nhận được . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

Trực giác hơn: chúng ta đã tạo ra khoảnh khắc của khoảng , bằng với một khoảnh khắc trung tâm (và những khoảnh khắc trung tâm kỳ lạ bằng không). Chúng tôi nhận được một chút của tautology. Bằng cách trừ đi giá trị trung bình từ , chúng tôi tạo ra một biến với không có ý nghĩa. Và, giá trị trung bình của 'một biến có giá trị trung bình bằng 0 là bằng không. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

Bài viết trên wikipedia sử dụng hai thủ thuật này lần lượt là dòng thứ ba và thứ tư.

Kỳ vọng lồng nhau trong dòng thứ ba

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

được đơn giản hóa bằng cách lấy một phần liên tục bên ngoài của nó (lừa 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
Thuật ngữ được giải quyết (như bằng không) bằng cách sử dụng thực tế là biến có zero bình (lừa 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

— Sextus Empiricus
nguồn

$E(\hat{\theta}) - \theta$

Nhận xét của @ user1158559 thực sự là đúng:

E [\hat{θ} - E (\hat{θ})] = = E (\hat{θ}) - E [E (\hat{θ})] = = E (\hat{θ}) - E (\hat{θ}) = = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— con quỷ nhỏ
nguồn

Tôi không thấy những gì bạn đang cố gắng thể hiện. Ngoài ra độ lệch có thể không bằng 0 nhưng điều đó không có nghĩa là nó không phải là hằng số.

— Michael R. Chernick

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

Ngoài ra, thực tế không phải là hằng số hoặc không thể giải thích làm thế nào bước 4 có thể từ bước 3. Mặt khác, nhận xét của @ user1158559 giải thích điều đó.

— little_monster

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$