Về sự tồn tại của UMVUE và sự lựa chọn của ước lượng bình quân trong dân số

Hãy là một mẫu ngẫu nhiên rút ra từ dân nơi . $(X_1,X_2,\cdots,X_n)$ $\mathcal N(\theta,\theta^2)$ $\theta\in\mathbb R$

Tôi đang tìm UMVUE của . $\theta$

Mật độ chung của là $(X_1,X_2,\cdots,X_n)$

\begin{aligned} f_{θ} (x_{1}, x_{2}, \dots, x_{n}) & = \prod_{i = 1}^{n} \frac{1}{θ \sqrt{2 π}} \exp [- \frac{1}{2 θ^{2}} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [- \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [\frac{1}{θ} \sum_{i = 1}^{n} x_{i} - \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} x_{i}^{2} - \frac{n}{2}] \\ = g (θ, T (x)) h (x) \forall (x_{1}, \dots, x_{n}) \in R^{n}, \forall θ \in R \end{aligned}

$\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}$

, trong đó và . $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ $h(\mathbf x)=1$

Ở đây, phụ thuộc vào và vào đến và độc lập với . Vì vậy, theo định lý nhân tố Fisher-Neyman, thống kê hai chiều là đủ cho . $g$ $\theta$ $x_1,\cdots,x_n$ $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ $h$ $\theta$ $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ $\theta$

Tuy nhiên, không phải là một thống kê đầy đủ. Điều này là do $T$

E_{θ} [2 {(\sum_{i = 1}^{n} X_{i})}^{2} - (n + 1) \sum_{i = 1}^{n} X_{i}^{2}] = 2 n (1 + n) θ^{2} - (n + 1) 2 n θ^{2} = 0 \forall θ

$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$

và hàm không bằng không. $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$

Nhưng tôi biết rằng là một thống kê đủ tối thiểu. $T$

Tôi không chắc chắn nhưng tôi nghĩ rằng một thống kê hoàn chỉnh có thể không tồn tại cho gia đình hàm mũ cong này. Vậy tôi nên lấy UMVUE như thế nào? Nếu một thống kê hoàn chỉnh không tồn tại, một công cụ ước tính không thiên vị (như trong trường hợp này) có phải là một chức năng của thống kê đủ tối thiểu có thể là UMVUE không? (Chủ đề liên quan: Điều kiện cần thiết để công cụ ước tính không thiên vị là UMVUE là gì? ) $\bar X$

Điều gì xảy ra nếu tôi xem xét Công cụ ước tính không thiên vị tuyến tính tốt nhất (BLUE) của ? BLUE có thể là UMVUE không? $\theta$

Giả sử tôi xem xét công cụ ước lượng không thiên vị tuyến tính của trong đó và . Vì chúng ta biết rằng . Ý tưởng của tôi là thu nhỏ để sẽ là màu xanh của . Would được thì UMVUE của ? $T^*(\mathbf X)=a\bar X+(1-a)cS$ $\theta$ $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ $E_{\theta}(cS)=\theta$ $\text{Var}(T^*)$ $T^*$ $\theta$ $T^*$ $\theta$

Tôi đã lấy một công cụ ước tính không thiên vị tuyến tính dựa trên và vì cũng đủ cho . $\bar X$ $S$ $(\bar X,S^2)$ $\theta$

Biên tập:

Rất nhiều công việc thực sự đã được thực hiện trong việc ước tính trong họ tổng quát hơn trong đó được biết đến. Sau đây là một số tài liệu tham khảo phù hợp nhất: $\theta$ $\mathcal N(\theta,a\theta^2)$ $a>0$

Ước tính giá trị trung bình của phân phối chuẩn với hệ số biến thiên đã biết bằng Gleser / Healy.
Một lưu ý về việc ước tính giá trị trung bình của phân phối chuẩn với hệ số biến thiên đã biết của RA Khan.
Một lưu ý về việc ước tính giá trị trung bình của phân phối chuẩn với hệ số biến thiên đã biết của RA Khan.
Chương này trích.

Tôi đã tìm thấy tài liệu tham khảo đầu tiên trong bài tập này từ Suy luận thống kê của Casella / Berger:

Câu hỏi của tôi không phải là về bài tập này mặc dù.

Ghi chú cuối cùng (trích đoạn chương) nói rằng UMVUE của không tồn tại $\theta$ vì thống kê đủ tối thiểu chưa hoàn tất. Tôi muốn biết điều gì cho phép chúng tôi kết luận rằng UMVUE không tồn tại đơn giản vì không thể tìm thấy một thống kê đầy đủ? Có bất kỳ kết quả liên quan đến điều này? Tôi thấy sự tồn tại của UMVUE ngay cả khi hoàn thành đủ số liệu thống kê không tồn tại trong chuỗi được liên kết.

Bây giờ giả sử rằng một công cụ ước lượng không thiên vị tối thiểu thống nhất không tồn tại, thì tiêu chí tiếp theo của chúng ta để chọn công cụ ước tính 'tốt nhất' là gì? Chúng ta có tìm kiếm MSE tối thiểu, phương sai tối thiểu hoặc MLE không? Hoặc sự lựa chọn của các tiêu chí phụ thuộc vào mục đích ước tính của chúng tôi?

Ví dụ: giả sử tôi có một công cụ ước tính không thiên vị và một công cụ ước tính thiên vị khác của . Giả sử MSE của (là phương sai của nó) nhiều hơn so với . Vì tối thiểu hóa MSE có nghĩa là giảm thiểu sai lệch đồng thời cũng như phương sai, tôi nghĩ nên là một lựa chọn ước tính 'tốt hơn' so với mặc dù trước đây là sai lệch. $T_1$ $T_2$ $\theta$ $T_1$ $T_2$ $T_2$ $T_1$

Các lựa chọn có thể của các công cụ ước tính của được liệt kê từ trang 4 của ghi chú cuối cùng. $\theta$

Trích xuất sau đây là từ Lý thuyết ước tính điểm của Lehmann / Casella (ấn bản thứ hai, trang 87-88):

Rất có khả năng là tôi đã hiểu nhầm tất cả mọi thứ, nhưng liệu câu cuối cùng nói rằng trong những điều kiện nhất định, sự tồn tại của thống kê hoàn chỉnh là cần thiết cho sự tồn tại của UMVUE? Nếu vậy, đây có phải là kết quả tôi nên xem xét?

Đó là kết quả cuối cùng do RR Bahadur được đề cập ngay ở phần cuối đề cập đến ghi chú này .

Sau khi tìm kiếm thêm, tôi đã tìm thấy một kết quả cho biết rằng nếu thống kê đủ tối thiểu không hoàn thành, thì một thống kê hoàn chỉnh không tồn tại. Vì vậy, ít nhất tôi khá tin chắc rằng một thống kê hoàn chỉnh không tồn tại ở đây.

Một kết quả khác mà tôi quên xem xét là một điều đại khái nói rằng một điều kiện cần và đủ để một công cụ ước lượng không thiên vị là UMVUE là nó phải không tương thích với mọi công cụ ước lượng không thiên vị bằng không. Tôi đã thử sử dụng định lý này để chỉ ra rằng UMVUE không tồn tại ở đây và thực tế là một công cụ ước tính không thiên vị như không phải là UMVUE. Nhưng điều này không diễn ra đơn giản như đã làm, ví dụ ở đây , trong hình minh họa cuối cùng. $\bar X$

— Bướng bỉnh
nguồn

Cập nhật:

Hãy xem xét công cụ ước tính trong đó được đưa ra trong bài đăng của bạn. Đây là một công cụ ước tính không thiên vị bằng và rõ ràng sẽ tương quan với công cụ ước tính được đưa ra dưới đây (đối với bất kỳ giá trị nào của ).

\hat{0} = \bar{X} - c S

$\hat 0 = \bar{X} - cS$

c

$c$

0

$0$

a

$a$

Định lý 6.2.25 từ C & B cho thấy cách tìm đủ số liệu thống kê đầy đủ cho gia đình hàm mũ miễn là chứa một tập mở trong . phân phối này mang lại và mà không tạo thành một bộ mở trong (kể từ ). Chính vì điều này mà thống kê không hoàn thành cho và vì lý do tương tự mà chúng ta có thể xây dựng một công cụ ước tính không thiên vị bằng điều đó sẽ tương quan với bất kỳ công cụ ước tính không thiên vị nào của

{(w_{1} (θ), \dots w_{k} (θ)}

$\{(w_1(\theta), \cdots w_k(\theta)\}$

R^{k}

$\mathbb R^k$

w_{1} (θ) = θ^{- 2}

$w_1(\theta) = \theta^{-2}$

w_{2} (θ) = θ^{- 1}

$w_2(\theta) = \theta^{-1}$

R^{2}

$R^2$

w_{1} (θ) = w_{2} (θ)^{2}

$w_1(\theta) = w_2(\theta)^2$

(\bar{X}, S^{2})

$(\bar{X}, S^2)$

θ

$\theta$

0

$0$

θ

$\theta$ dựa trên số liệu thống kê đầy đủ.

Cập nhật khác:

Từ đây, lập luận mang tính xây dựng. Đó phải là trường hợp tồn tại một công cụ ước tính không thiên vị khác sao cho cho ít nhất một . $\tilde\theta$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta \in \Theta$

Chứng minh: Giả sử rằng , và (đối với một số giá trị của ). Hãy xem xét một công cụ ước tính mới Công cụ ước tính này rõ ràng không thiên vị với phương sai Đặt . $E(\hat\theta) = \theta$ $E(\hat 0) = 0$ $Cov(\hat\theta, \hat 0) < 0$ $\theta$

\tilde{θ} = \hat{θ} + b \hat{0}

$\tilde\theta = \hat\theta + b\hat0$

V a r (\tilde{θ}) = V a r (\hat{θ}) + b^{2} V a r (\hat{0}) + 2 b C o v (\hat{θ}, \hat{0})

$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$

M (θ) = \frac{- 2 C o v (\hat{θ}, \hat{0})}{V a r (\hat{0})}

$M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$

Theo giả định, phải tồn tại một sao cho . Nếu chúng tôi chọn , thì tại . Do đó không thể là UMVUE. $\theta_0$ $M(\theta_0) > 0$ $b \in (0, M(\theta_0))$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta_0$ $\hat\theta$ $\quad \square$

Tóm lại: Việc tương quan với (cho bất kỳ lựa chọn nào của ) ngụ ý rằng chúng ta có thể xây dựng một công cụ ước tính mới tốt hơn cho ít nhất một điểm , vi phạm tính đồng nhất của yêu cầu sự thiên vị tốt nhất. $\hat\theta$ $\hat0$ $a$ $\hat\theta$ $\theta_0$ $\hat\theta$

Hãy xem xét ý tưởng của bạn về sự kết hợp tuyến tính chặt chẽ hơn.

\hat{θ} = a \bar{X} + (1 - a) c S

$\hat\theta = a \bar X + (1-a)cS$

Như bạn chỉ ra, là một công cụ ước tính hợp lý vì nó dựa trên số liệu thống kê đầy đủ (mặc dù không đầy đủ). Rõ ràng, công cụ ước tính này không thiên vị, vì vậy để tính toán MSE, chúng ta chỉ cần tính toán phương sai. $\hat\theta$

\begin{aligned} M S E (\hat{θ}) & = a^{2} V a r (\bar{X}) + (1 - a)^{2} c^{2} V a r (S) \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [E (S^{2}) - E (S)^{2}] \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [θ^{2} - θ^{2} / c^{2}] \\ = θ^{2} [\frac{a^{2}}{n} + (1 - a)^{2} (c^{2} - 1)] \end{aligned}

$\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}$

Bằng cách khác biệt, chúng ta có thể tìm thấy "tối ưu " cho một cỡ mẫu nhất định . $a$ $n$

a_{o p t} (n) = \frac{c^{2} - 1}{1 / n + c^{2} - 1}

$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$ trong đó

c^{2} = \frac{n - 1}{2} {(\frac{Γ ((n - 1) / 2)}{Γ (n / 2)})}^{2}

$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$

Một cốt truyện của sự lựa chọn tối ưu của được đưa ra dưới đây. $a$

Một điều thú vị cần lưu ý là vì , chúng ta có (được xác nhận qua Wolframalpha). $n\rightarrow \infty$ $a_{opt}\rightarrow \frac{1}{3}$

Mặc dù không có gì đảm bảo rằng đây là UMVUE, công cụ ước tính này là công cụ ước tính phương sai tối thiểu của tất cả các kết hợp tuyến tính không thiên vị của các số liệu thống kê đầy đủ.

— knrumsey
nguồn

Cảm ơn các cập nhật. Tôi đã không theo dõi C & B như một cuốn sách giáo khoa, chỉ nhìn vào các bài tập.

— StubbornAtom

@StubbornAtom Tôi đã thêm một bằng chứng chứng minh tại sao không thể là UMVUE (mượn rất nhiều từ trang C & B 344). Hãy xem và cho tôi biết nếu điều này giúp tất cả.

\hat{θ}

$\hat\theta$

— knrumsey