Tại sao Rào-Blackwell lý yêu cầu

Định lý Rao-Blackwell

Hãy là một ước lượng của với cho tất cả . Giả sử là đủ cho và hãy Sau đó, với tất cả , Bất đẳng thức là nghiêm ngặt trừ khi là một hàm của $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ $\hat{\theta}$ $T$

Nếu tôi hiểu đúng định lý này, điều này nói rằng, nếu tôi có đủ số liệu thống kê cho , thì giá trị mong đợi có điều kiện của cho là giải pháp cho $T$ $\theta$ $\hat{\theta}$ $T$ $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

Câu hỏi của tôi

Tôi có đúng không $\theta^*$ thu nhỏ $\Bbb E$ $(\hat{\theta}-\theta)^2$ ?
Tại sao Định lý Rao-Blackwell yêu cầu $\Bbb E(\hat{\theta}^2) < \infty$ ?
Tại sao bất đẳng thức nghiêm ngặt trừ khi $\hat{\theta}$ là một hàm của $T$ ?

rao-blackwell

— Stan Shunpike
nguồn

Bản sao có thể có của Biện minh trực quan và công thức cho Định lý Rao-Blackwell

— Xi'an

Cần những gì để tìm ?

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

— Stan Shunpike

Câu trả lời:

Không, là công cụ ước tính tốt hơn nhưng không nhất thiết là tốt nhất (bất kể điều đó có nghĩa là gì!) $\theta^*$ $\hat\theta$
Nếu công cụ ước tính không có phương sai, thì rủi ro của nó là vô hạn và không có gì đảm bảo rằng có rủi ro hữu hạn (mặc dù điều này có thể xảy ra như Horst Grünbusch đã chỉ ra trong các bình luận của mình). $\theta^*$
Theo phương sai hữu hạn cho , bất đẳng thức rất nghiêm ngặt do phân rã phương sai là tổng của phương sai điều kiện dự kiến cộng với phương sai của kỳ vọng có điều kiện Trừ khi phương sai có điều kiện dự kiến sẽ là zero, mà số tiền để một hàm của chỉ. $\hat\theta$ $var (\hat{θ}) = = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

— Tây An
nguồn

quảng cáo 2: Tại sao không thể? Hãy xem xét làm công cụ ước tính cho , trong đó và là một rv phân phối Cauchy không liên quan.

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

— Horst Grünbusch

@ HorstGrünbusch Tại sao mảnh Cauchy sẽ biến mất khi bạn có điều kiện trên ? Ngoài ra không phải là công cụ ước tính không thiên vị.

T

$T$

\hat{θ}

$\hat{\theta}$

— DSaxton

@ HorstGrünbusch Dường như với tôi rằng bạn thậm chí không có kỳ vọng có điều kiện (vì không có kỳ vọng), do đó sẽ không được xác định.

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

— Juho Kokkala

OK, tất cả những gì tôi muốn là không có phương sai, không phải không mong đợi. ;) Bây giờ hãy , tức là Student-t-phân phối với 2 bậc tự do và và không phụ thuộc vào . Thống kê đầy đủ rõ ràng là . Khi đó , nhưng

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

— Horst Grünbusch

Vì vậy, tôi nghĩ thật sai lầm khi một công cụ ước tính Rao-Blackwell có phương sai vô hạn nhất thiết nếu công cụ ước tính ban đầu có phương sai vô hạn. (Tuy nhiên, ngay cả khi cả hai phương sai nhất thiết phải là vô hạn vẫn sẽ giữ.)

\infty \leq \infty

$\infty \leq \infty$

— Horst Grünbusch

Lưu ý rằng là một thống kê đầy đủ không phải là duy nhất. Đáng kể, toàn bộ dữ liệu là đủ, nhưng điều chỉnh một công cụ ước tính trên chúng không thay đổi bất cứ điều gì. Vì vậy, một thống kê đủ thôi là không đủ (chơi chữ!) Vì có sai số bình phương trung bình tối thiểu. Xem Định lý Lehmann-Scheffé, sử dụng định lý Rao-Blackwell trong chứng minh, để có đủ khả năng (trên thực tế, là đủ và đầy đủ).
Nếu cả hai là vô hạn, bất đẳng thức yếu luôn luôn đúng. Nhưng sau đó, như một ví dụ mẫu, bạn có thể xây dựng một thống kê đầy đủ không phải là hàm của nhưng vẫn có phương sai vô hạn (như vậy chỉ có giữ). $T$ $\leq$

Lấy ví dụ , một biến ngẫu nhiên được phân phối thay đổi với và và là một biến ngẫu nhiên độc lập khác . Tham số cần ước tính là . Công cụ ước tính ban đầu là . Một thống kê đầy đủ là tất nhiên . Cả công cụ ước tính Rao-Blackwell và có phương sai vô hạn. Vì vậy, sự bất bình đẳng sẽ giữ yếu. Mặt khác, không phải là chức năng đơn thuần của $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ : Nó liên quan đến biến ngẫu nhiên khác, vì vậy đó sẽ là một mâu thuẫn với câu cuối cùng mà bạn đã hỏi câu hỏi thứ 3 của mình. Trong thực tế, một số sách giáo khoa thừa nhận phương sai vô hạn cho công cụ ước tính ban đầu, nhưng đến lượt chúng không thể nêu ra khi giữ. $<$

Nếu là một hàm của , bạn có thể chứng minh bằng định lý nhân tố rằng đã đủ cho . Vì vậy, một lần nữa chúng tôi kết thúc với việc cải thiện không có gì. Ngoài trường hợp này, bất đẳng thức là nghiêm ngặt, và đó là khẳng định không tầm thường của định lý. $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

— Horst Grünbusch
nguồn