Tính nhất quán tiệm cận với phương sai tiệm cận khác không - nó đại diện cho cái gì?


18

Vấn đề đã được đưa ra trước đây, nhưng tôi muốn hỏi một câu hỏi cụ thể sẽ cố gắng gợi ra một câu trả lời sẽ làm rõ (và phân loại) nó:

Trong "Asymptotics của Poor Man", người ta phân biệt rõ ràng giữa

  • (a) một chuỗi các biến ngẫu nhiên hội tụ xác suất thành hằng số

trái ngược với

  • (b) một chuỗi các biến ngẫu nhiên hội tụ xác suất thành một biến ngẫu nhiên (và do đó phân phối cho nó).

Nhưng trong "Wise Man's Asymptotics", chúng ta cũng có thể gặp trường hợp

  • (c) một chuỗi các biến ngẫu nhiên hội tụ xác suất thành hằng số trong khi duy trì phương sai khác không ở giới hạn.

Câu hỏi của tôi là (ăn cắp từ câu trả lời khám phá của riêng tôi dưới đây):

Làm thế nào chúng ta có thể hiểu một công cụ ước tính không nhất quán nhưng cũng có phương sai hữu hạn khác không? Phương sai này phản ánh điều gì? Hành vi của nó khác với công cụ ước lượng nhất quán "thông thường" như thế nào?

Các chủ đề liên quan đến hiện tượng được mô tả trong (c) (cũng xem trong các ý kiến):


Cách bạn viết hoa "Asymptotics của Poor Man" khiến tôi nghĩ rằng tôi phải thiếu kiến ​​thức về một tài liệu tham khảo (hoặc có thể đã nhìn thấy nó nhưng quên nó, điều này tương tự như vậy); hoặc một cuốn sách hoặc giấy thực tế, hoặc thậm chí có thể chỉ là một tài liệu tham khảo văn hóa. Tôi biết về "Tăng cường dữ liệu của người nghèo" (Tanner và Wei), nhưng tôi không nghĩ rằng điều này được kết nối với những gì bạn đang làm. Tôi đang thiếu gì?
Glen_b -Reinstate Monica

@Glen_B Bạn không bỏ lỡ bất cứ điều gì - Tôi vừa đưa ra thuật ngữ tương phản với mức độ hiểu biết về (= quyền truy cập trí tuệ) Lý thuyết tiệm cận mà những người như tôi có, chống lại, nói, về những người như hồng y. Viết hoa chỉ là một chiến thuật tiếp thị.
Alecos Papadopoulos

Câu trả lời:


8

27-10-2014: Thật không may (đối với tôi là vậy), không ai đã đóng góp câu trả lời ở đây - vì nó trông giống như một vấn đề lý thuyết kỳ lạ, "bệnh hoạn" và không có gì nữa?

Vâng để trích dẫn một nhận xét cho người dùng Hồng y (mà sau đó tôi sẽ khám phá)

"Đây là một ví dụ vô lý, nhưng đơn giản. Ý tưởng là để minh họa chính xác những gì có thể sai và tại sao. Nó có các ứng dụng thực tế (nhấn mạnh của tôi). Ví dụ: Hãy xem xét mô hình iid điển hình với khoảnh khắc thứ hai hữu hạn. Hãy trong đó độc lập với và mỗi cái có xác suất và bằng không, với tùy ý. Sau đó, không thiên vị, có phương sai giới hạn bên dưới bởi và gần như chắc chắn (nó rất phù hợp). Tôi rời đi như một bài tập về trường hợp thiên vị ". Zn ˉ X nZn=±mộtnθ^n=X¯n+ZnZnX¯nZn=±an một > 0 θ n một 2 θ nL1/n2a>0θ^na2θ^nμ

Biến ngẫu nhiên maverick ở đây là , vì vậy hãy xem chúng ta có thể nói gì về nó. Biến có hỗ trợ với xác suất tương ứng . Nó là đối xứng quanh không, vì vậy chúng ta có { - a n , 0 , a n } { 1 / n 2 , 1 - 2 / n 2 , 1 / n 2 }Zn
{an,0,an}{1/n2,12/n2,1/n2}

E(Zn)=0,Var(Zn)=(an)2n2+0+(an)2n2=2a2

Những khoảnh khắc này không phụ thuộc vào nên tôi đoán chúng ta được phép viết một cách tầm thườngn

limnE(Zn)=0,limnVar(Zn)=2a2

Trong Asymptotics của Poor Man, chúng ta biết một điều kiện để giới hạn của các khoảnh khắc bằng với các khoảnh khắc phân phối giới hạn. Nếu khoảnh khắc thứ của phân phối trường hợp hữu hạn hội tụ đến một hằng số (như trường hợp của chúng ta), thì, nếu hơn nữa,r

δ>0:limsupE(|Zn|r+δ)<

giới hạn của thời điểm thứ sẽ là thời điểm thứ của phân phối giới hạn. Trong trường hợp của chúng tarrr

E(|Zn|r+δ)=|an|r+δn2+0+|an|r+δn2=2ar+δnr+δ2

Đối với , phân kỳ này cho bất kỳ , do đó điều kiện đủ này không giữ cho phương sai (nó giữ cho giá trị trung bình). Thực hiện theo cách khác: phân phối tiệm cận của gì? CDF của hội tụ thành CDF không suy biến ở giới hạn không?δ > 0 Z n Z nr2δ>0
ZnZn

Nó không giống như vậy: hỗ trợ giới hạn sẽ là (nếu chúng tôi được phép viết điều này) và xác suất tương ứng . Hình như là một hằng số đối với tôi. Nhưng nếu chúng ta không có phân phối giới hạn ở nơi đầu tiên, làm thế nào chúng ta có thể nói về những khoảnh khắc của nó? { 0 , 1 , 0 }{,0,}{0,1,0}

Sau đó, quay trở lại công cụ ước tính , vì cũng hội tụ đến một hằng số, có vẻ như ˉ X nθ^nX¯n

θ^n không có phân phối giới hạn (không tầm thường), nhưng nó có phương sai ở giới hạn. Hoặc, có thể phương sai này là vô hạn? Nhưng một phương sai vô hạn với một phân phối liên tục?

Làm thế nào chúng ta có thể hiểu điều này? Nó cho chúng ta biết gì về công cụ ước tính? Sự khác biệt cơ bản, ở giới hạn, giữa và gì? ~ θ n= ˉ X nθ^n=X¯n+Znθ~n=X¯n


Yêu cầu tham chiếu ngu ngốc: bạn có nguồn (tốt) cho: "nếu khoảnh khắc thứ r hội tụ đến một hằng số, thì tất cả các khoảnh khắc có chỉ số thấp hơn r đều hội tụ đến các khoảnh khắc phân phối giới hạn không?". Tôi biết đó là sự thật, nhưng tôi chưa bao giờ tìm thấy một nguồn tốt
Guillaume Dehaene

Thứ hai, định lý bạn cố gắng sử dụng không thể được áp dụng trong trường hợp này: với r = 2 (đó là trường hợp bạn muốn sử dụng: bạn muốn chứng minh rằng phương sai hội tụ), đối với mọi trường hợp dương , phân kỳ!E ( | Z n | r + δδE(|Zn|r+δ
Guillaume Dehaene

Có lẽ sẽ tốt khi bằng cách nào đó ping @cardinal (trong trò chuyện?) Để anh ấy tham gia cuộc thảo luận này.
amip nói phục hồi Monica

@amoeba Hồng y là một người ước tính hội tụ câu trả lời thực sự ở đây, nhưng tôi nhớ đã cố gắng dấn thân vào quá khứ mà không thành công.
Alecos Papadopoulos

@GuillaumeDehaene Một tài liệu tham khảo là AW Van der Vaart (1998) "Thống kê tiệm cận", ch. 2.5 "Sự hội tụ của những khoảnh khắc". Nó được đưa ra như một ví dụ 2.21 của Định lý 2.20. Và bạn đã đúng: Tôi đã có ấn tượng rằng nó đủ để có giới hạn cho hữu hạn - nhưng đó là limsup phải là hữu hạn. Tôi đang sửa bài của tôi. n
Alecos Papadopoulos

7

Tôi sẽ không đưa ra một câu trả lời rất thỏa đáng cho câu hỏi của bạn bởi vì dường như tôi hơi quá cởi mở, nhưng hãy để tôi cố gắng làm sáng tỏ lý do tại sao câu hỏi này là một câu hỏi khó.

Tôi nghĩ rằng bạn đang vật lộn với thực tế là các cấu trúc liên kết thông thường mà chúng ta sử dụng trên các phân phối xác suất và các biến ngẫu nhiên là xấu. Tôi đã viết một bài lớn hơn về điều này trên blog của mình nhưng hãy để tôi thử tóm tắt: bạn có thể hội tụ theo nghĩa yếu (và tổng biến thể) trong khi vi phạm các giả định về mặt nhận thức về ý nghĩa của sự hội tụ.

Ví dụ: bạn có thể hội tụ cấu trúc liên kết yếu về phía hằng số trong khi có phương sai = 1 (đó chính xác là những gì chuỗi của bạn đang làm). Sau đó, có một phân phối giới hạn (trong cấu trúc liên kết yếu) là biến ngẫu nhiên đơn giản này, phần lớn thời gian bằng 0 nhưng cực kỳ hiếm khi bằng vô hạn.Zn

Cá nhân tôi cho rằng điều này có nghĩa là cấu trúc liên kết yếu (và cấu trúc liên kết biến đổi tổng thể cũng vậy) là một khái niệm kém về sự hội tụ cần được loại bỏ. Hầu hết các điểm hội tụ mà chúng ta thực sự sử dụng đều mạnh hơn thế. Tuy nhiên, tôi thực sự không biết chúng ta nên sử dụng cái gì thay vì cấu trúc liên kết yếu ...

Nếu bạn thực sự muốn tìm một sự khác biệt thiết yếu giữa và , thì đây là của tôi: cả hai công cụ ước tính đều tương đương với [0,1] -loss (khi kích thước sai lầm của bạn không thành vấn đề). Tuy nhiên, sẽ tốt hơn nhiều nếu kích thước sai lầm của bạn quan trọng, bởi vì đôi khi thất bại thảm hại. ~ θ = ˉ X ~ θ θθ^=X¯+Znθ~=X¯θ~θ^


2

Công cụ ước tính phù hợp với xác suất nhưng không có trong MSE nếu có xác suất nhỏ tùy ý của công cụ ước tính "phát nổ". Trong khi một sự tò mò toán học thú vị, cho bất kỳ mục đích thực tế nào, điều này không nên làm phiền bạn. Đối với bất kỳ mục đích thực tế nào, các công cụ ước tính có các hỗ trợ hữu hạn và do đó không thể bùng nổ (thế giới thực không nhỏ vô cùng, cũng không lớn).

Nếu bạn vẫn muốn gọi một xấp xỉ liên tục của "thế giới thực", và phép tính gần đúng của bạn là như vậy hội tụ trong xác suất và không phải trong MSE, thì hãy xem như vậy: Công cụ ước tính của bạn có thể đúng với xác suất lớn tùy ý, nhưng sẽ luôn có một cơ hội nhỏ tùy ý phát nổ. May mắn thay, khi nó làm, bạn sẽ nhận thấy, để nếu không, bạn có thể tin tưởng nó. :-)


Tôi ấn tượng rằng không hội tụ trong bình phương trung bình, vìlimE( θ 2)=2một2θ^=X¯+Zn
limE(θ^2)=2a2
Alecos Papadopoulos

Câu hỏi đặc biệt liên quan đến việc giải thích một công cụ ước tính hội tụ xác suất và không phải trong MSE (do phương sai không biến mất).
JohnRos

Bạn nói đúng, tôi chỉ nhầm một dấu cộng với một dấu trừ.
Alecos Papadopoulos
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.