Trực giác đằng sau việc xác định tính đầy đủ trong một thống kê là không thể tạo thành một công cụ ước lượng không thiên vị từ ?

21

Trong thống kê cổ điển, có một định nghĩa rằng thống kê của một tập hợp dữ liệu được xác định là hoàn chỉnh cho một tham số không thể tạo thành một công cụ ước lượng không thiên vị từ từ đó. Đó là, cách duy nhất để có cho tất cả là có là gần như chắc chắn. $T$ $y_1, \ldots, y_n$ $\theta$ $0$ $E h(T (y )) = 0$ $\theta$ $h$ $0$

Có một trực giác đằng sau này? Có vẻ như là một cách khá cơ học để xác định điều này, tôi biết điều này đã được hỏi trước đây, nhưng tự hỏi liệu có một trực giác rất dễ hiểu sẽ khiến sinh viên nhập môn có thể dễ dàng tiêu hóa tài liệu hơn.

— người dùng1398057
nguồn

2

Đó là một câu hỏi rất hay, tôi đã phải tự đào sâu vào nó. Nó chỉ ra rằng lý do nó là một định nghĩa cơ học và không có ý nghĩa trực giác đối với một người thực hành tiêu chuẩn như tôi là nó chủ yếu được sử dụng để chứng minh những đóng góp cơ bản trong thống kê toán học. Cụ thể, tìm kiếm ngắn của tôi cho thấy định lý Lehmann-Scheffé và định lý của Basu đòi hỏi phải hoàn thành một thống kê để giữ vững. Đây là những đóng góp của giữa những năm 1950. Tôi không thể cung cấp cho bạn một lời giải thích trực quan - nhưng nếu bạn thực sự muốn xây dựng nó, có thể là cộng sự bằng chứng

— Jeremias K

18

Tôi sẽ cố gắng để thêm vào câu trả lời khác. Đầu tiên, tính đầy đủ là một điều kiện kỹ thuật chủ yếu được chứng minh bằng các định lý sử dụng nó. Vì vậy, chúng ta hãy bắt đầu với một số khái niệm và định lý liên quan nơi chúng xảy ra.

Đặt đại diện cho một vectơ dữ liệu iid, mà chúng ta mô hình là có phân phối trong đó tham số điều khiển dữ liệu là không xác định. là đủ nếu phân phối có điều kiện của không phụ thuộc vào tham số . là phụ trợ nếu phân phối của không phụ thuộc vào (trong gia đình ). là một công cụ ước lượng không thiên vị bằng 0 nếu kỳ vọng của nó bằng 0, không phân biệt $X=(X_1,X_2,\dotsc,X_n)$ $f(x;\theta), \theta \in \Theta$ $\theta$ $T=T(X)$ $X \mid T$ $\theta$ $V=V(X)$ $V$ $\theta$ $f(x;\theta)$ $U=U(X)$ $\theta$ . là một thống kê hoàn chỉnh nếu bất kỳ công cụ ước tính không thiên vị nào của 0 dựa trên đều bằng 0, nghĩa là, nếu sau đó ae (cho tất cả ). $S=S(X)$ $S$ $\DeclareMathOperator{\E}{\mathbb{E}} \E g(S)=0 (\text{for all $\theta$})$ $g(S)=0$ $\theta$

Bây giờ, giả sử bạn có hai công cụ ước tính không thiên vị khác nhau của dựa trên thống kê đủ , . Đó là, trong các ký hiệu và (cho tất cả ). Khi đó là một công cụ ước tính không thiên vị của số 0, không bằng 0, chứng tỏ rằng chưa hoàn thành. Vì vậy, tính đầy đủ của một thống kê đủ cho chúng ta rằng chỉ tồn tại một công cụ ước lượng duy nhất không thiên vị của dựa trên $\theta$ $T$ $g_1(T), g_2(T)$

E g_{1} (T) = θ, E g_{2} (T) = θ

$\E g_1(T)=\theta ,\\ \E g_2(T)=\theta$

P (g_{1} (T) \neq g_{2} (T)) > 0

$\DeclareMathOperator{\P}{\mathbb{P}} \P(g_1(T) \not= g_2(T) ) > 0$

θ

$\theta$

g_{1} (T) - g_{2} (T)

$g_1(T)-g_2(T)$

T

$T$

T

$T$

θ

$\theta$

T

$T$ . Điều đó đã rất gần với định lý Lehmann Nhận Scheffé.

Chúng ta hãy xem xét một số ví dụ. Giả sử bây giờ là đồng phục iid trên khoảng . Chúng ta có thể chỉ ra rằng ( là thống kê đơn hàng) cặp là đủ, nhưng nó chưa hoàn thành, vì sự khác biệt là phụ trợ, chúng ta có thể tính toán kỳ vọng của nó, hãy để nó là (chỉ là hàm của ), và sau đó $X_1, \dotsc, X_n$ $(\theta, \theta+1)$ $X_{(1)} < X_{(2)} < \dotsm < X_{(n)}$ $(X_{(1)}, X_{(n)})$ $X_{(n)}-X_{(1)}$ $c$ $n$ $X_{(n)}-X_{(1)} -c$ sẽ là một công cụ ước lượng không thiên vị của số 0 mà không bằng 0. Vì vậy, thống kê đầy đủ của chúng tôi, trong trường hợp này, không đầy đủ và đủ. Và chúng ta có thể thấy điều đó có nghĩa là gì: tồn tại các chức năng của thống kê đầy đủ không có thông tin về (trong bối cảnh của mô hình). Điều này không thể xảy ra với một thống kê đầy đủ; theo nghĩa tối đa là thông tin, trong đó không có chức năng nào của nó là không chính xác. Mặt khác, nếu có một số chức năng của thống kê đủ tối thiểu có kỳ vọng bằng 0, thì đó có thể được coi là một thuật ngữ tiếng ồn , các thuật ngữ nhiễu / nhiễu trong các mô hình có kỳ vọng bằng không. Vì vậy, chúng ta có thể nói rằng số liệu thống kê chưa đầy đủ có chứa một số nhiễu . $\theta$

Nhìn lại phạm vi trong ví dụ này. Vì phân phối của nó không phụ thuộc vào , nên bản thân nó không chứa bất kỳ thông tin nào về . Nhưng, cùng với số liệu thống kê đầy đủ, nó làm! Làm sao? Nhìn vào trường hợp được quan sát. Sau đó, trong bối cảnh mô hình (được biết là đúng) của chúng tôi, chúng tôi có kiến thức hoàn hảo về ! Cụ thể, chúng ta có thể nói chắc chắn rằng . Bạn có thể kiểm tra xem có bất kỳ giá trị nào khác cho sau đó dẫn đến hoặc $R=X_{(n)}-X_{(1)}$ $\theta$ $\theta$ $R=1$ $\theta$ $\theta = X_{(1)}$ $\theta$ $X_{(1)}$ $X_{(n)}$ là một quan sát không thể, theo mô hình giả định. Mặt khác, nếu chúng ta quan sát , thì phạm vi của các giá trị có thể có cho là khá lớn (bài tập ...). $R=0.1$ $\theta$

Theo nghĩa này, thống kê phụ trợ có chứa một số thông tin về độ chính xác mà chúng tôi có thể ước tính dựa trên dữ liệu và mô hình này. Trong ví dụ này và các ví dụ khác, thống kê phụ trợ "đảm nhận vai trò của cỡ mẫu". Thông thường, khoảng tin cậy và như vậy cần cỡ mẫu , nhưng trong ví dụ này, chúng ta có thể tạo khoảng tin cậy có điều kiện, nó chỉ được tính bằng , không phải (bài tập.) Đây là một ý tưởng của Fisher, nên suy luận có điều kiện một số thống kê phụ trợ. $R$ $\theta$ $R$ $n$ $R$ $n$

Bây giờ, định lý của Basu: Nếu hoàn thành đủ, thì nó độc lập với bất kỳ thống kê phụ trợ nào. Đó là, suy luận dựa trên một thống kê đầy đủ đầy đủ là đơn giản hơn, trong đó chúng ta không cần phải xem xét suy luận có điều kiện. Tất nhiên, điều hòa trên một thống kê độc lập với không thay đổi bất cứ điều gì. $T$ $T$

Sau đó, một ví dụ cuối cùng để đưa ra một số trực giác hơn. Thay đổi ví dụ phân phối đồng đều của chúng tôi thành phân phối đồng đều trong khoảng thời gian (với ). Trong trường hợp này, thống kê là đầy đủ và đầy đủ. Những gì đã thay đổi? Chúng ta có thể thấy rằng tính đầy đủ thực sự là một tài sản của mô hình . Trong trường hợp trước, chúng ta có một không gian tham số bị hạn chế. Hạn chế này đã phá hủy tính hoàn chỉnh bằng cách giới thiệu các mối quan hệ trên số liệu thống kê đơn hàng. Bằng cách loại bỏ hạn chế này, chúng tôi đã hoàn thành! Vì vậy, theo một nghĩa nào đó, thiếu tính đầy đủ có nghĩa là không gian tham số không đủ lớn và bằng cách mở rộng nó, chúng ta có thể hy vọng khôi phục tính đầy đủ (và do đó, suy luận dễ dàng hơn). $(\theta_1, \theta_2)$ $\theta_1<\theta_2$ $(X_{(1)}, X_{(n)})$

Một số ví dụ khác khi thiếu tính đầy đủ là do các hạn chế về không gian tham số,

xem câu trả lời của tôi về: loại thông tin nào là thông tin của Fisher?
Đặt là iid (mô hình quy mô vị trí). Sau đó, thống kê đơn hàng đầy đủ nhưng không đầy đủ. Nhưng bây giờ mở rộng mô hình này thành một mô hình hoàn toàn không tham số, vẫn còn nhưng từ một số phân phối hoàn toàn không xác định . Sau đó, số liệu thống kê đơn hàng là đủ và đầy đủ. $X_1, \dotsc, X_n$ $\mathcal{Cauchy}(\theta,\sigma)$ $F$
Đối với các gia đình hàm mũ có không gian tham số chính tắc (nghĩa là càng lớn càng tốt), thống kê đủ tối thiểu cũng hoàn tất. Nhưng trong nhiều trường hợp, đưa ra các hạn chế về không gian tham số, như với các họ hàm mũ cong , phá hủy tính hoàn chỉnh.

Một bài viết rất phù hợp là Giải thích về sự hoàn thiện và Định lý của Basu.

— kjetil b halvorsen
nguồn

7

Một số trực giác có thể có sẵn từ lý thuyết của các ước lượng không thiên vị tốt nhất (phương sai tối thiểu).

Nếu thì là công cụ ước tính không thiên vị tốt nhất của iff không tương thích với tất cả các công cụ ước tính không thiên vị bằng không. $E_\theta W=\tau(\theta)$ $W$ $\tau(\theta)$ $W$

Chứng minh : Đặt là một công cụ ước tính không thiên vị không tương quan với tất cả các công cụ ước tính không thiên vị bằng không. Đặt là một công cụ ước tính khác sao cho . Viết . Theo giả định, . Do đó, đối với bất kỳ . $W$ $W'$ $E_\theta W'=E_\theta W=\tau(\theta)$ $W'=W+(W'-W)$ $Var_\theta W'=Var_\theta W+Var_\theta (W'-W)$ $W'$ $Var_\theta W'\geq Var_\theta W$

Bây giờ giả sử rằng là một công cụ ước tính không thiên vị tốt nhất. Để có một số ước tính với . cũng không thiên vị cho . Chúng tôi có Nếu có một sao cho , chúng tôi sẽ nhận được cho . sau đó có thể không phải là công cụ ước tính không thiên vị tốt nhất. QED $W$ $U$ $E_\theta U=0$ $\phi_a:=W+aU$ $\tau(\theta)$

V a r_{θ} ϕ_{a} := V a r_{θ} W + 2 a C o v_{θ} (W, U) + a^{2} V a r_{θ} U .

$Var_\theta \phi_a:=Var_\theta W+2aCov_\theta(W,U)+a^2Var_\theta U.$

θ_{0} \in Θ

$\theta_0\in\Theta$

C o v_{θ_{0}} (W, U) < 0

$Cov_{\theta_0}(W,U)<0$

V a r_{θ} ϕ_{a} < V a r_{θ} W

$Var_\theta \phi_a<Var_\theta W$

a \in (0, - 2 C o v_{θ_{0}} (W, U) / V a r_{θ_{0}} U)

$a\in(0,-2Cov_{\theta_0}(W,U)/Var_{\theta_0} U)$

W

$W$

Theo trực giác, kết quả nói rằng nếu một công cụ ước tính là tối ưu, thì không thể cải thiện nó bằng cách thêm một chút nhiễu vào nó, theo nghĩa là kết hợp nó với một công cụ ước tính trung bình chỉ bằng 0 (là một công cụ ước lượng không thiên vị bằng không ).

Thật không may, rất khó để mô tả tất cả các ước lượng không thiên vị bằng không. Tình huống trở nên đơn giản hơn nhiều nếu bản thân zero là công cụ ước lượng không thiên vị duy nhất bằng 0, vì bất kỳ thống kê nào thỏa mãn . Hoàn thành mô tả một tình huống như vậy. $W$ $Cov_\theta(W,0)=0$

— Christoph Hanck
nguồn