Có bất kỳ ví dụ về nơi mà định lý giới hạn trung tâm không giữ?

32

Wikipedia nói -

Trong lý thuyết xác suất, định lý giới hạn trung tâm (CLT) xác định rằng, trong hầu hết các tình huống , khi các biến ngẫu nhiên độc lập được thêm vào, tổng bình thường đúng của chúng có xu hướng phân phối bình thường (không chính xác là "đường cong chuông") ngay cả khi chính các biến ban đầu không phải là phân phối chuẩn...

Khi nó nói "trong hầu hết các tình huống", trong trường hợp nào định lý giới hạn trung tâm không hoạt động?

— Ryan McCauley
nguồn

33

Để hiểu điều này, trước tiên bạn cần nêu một phiên bản của Định lý giới hạn trung tâm. Đây là tuyên bố "điển hình" của định lý giới hạn trung tâm:

Lindeberg Lévy CLT. Giả sử ${X_1, X_2, \dots}$ là một chuỗi các biến ngẫu nhiên iid với $E[X_i] = \mu$ và $Var[X_i] = \sigma^2 < \infty$ . Đặt $S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$ . Sau đó là $n$ tiến tới vô cùng, các biến ngẫu nhiên $\sqrt{n}(S_n − \mu)$ hội tụ trong phân phối cho một bình thường $N(0,\sigma^2)$ tức là

$\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2}) .$ ${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$

Vì vậy, điều này khác với mô tả không chính thức, và những khoảng trống là gì? Có một số khác biệt giữa mô tả không chính thức của bạn và mô tả này, một số trong đó đã được thảo luận trong các câu trả lời khác, nhưng không hoàn toàn. Vì vậy, chúng ta có thể biến điều này thành ba câu hỏi cụ thể:

Điều gì xảy ra nếu các biến không được phân phối giống hệt nhau?
Điều gì xảy ra nếu các biến có phương sai vô hạn, hoặc trung bình vô hạn?
Độc lập quan trọng như thế nào?

Lấy từng cái một,

Không được phân phối chính xác , Các kết quả chung tốt nhất là các phiên bản Lindeberg và Lyaponov của định lý giới hạn trung tâm. Về cơ bản, miễn là độ lệch chuẩn không phát triển quá mạnh, bạn có thể có được một định lý giới hạn trung tâm khá tốt từ nó.

Lyapunov CLT. [5] Giả sử là một chuỗi các biến ngẫu nhiên độc lập, mỗi biến có giá trị kỳ vọng hữu hạn và phương sai Xác định: ${X_1, X_2, \dots}$ $\mu_i$ $\sigma^2$ $s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

Nếu đối với một số , điều kiện của Lyapunov được thỏa mãn, sau đó tổng số hội tụ trong phân phối đến một biến ngẫu nhiên tiêu chuẩn thông thường, khi n đi đến vô cùng: $\delta > 0$ $\lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0$ $X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

Định lý phương sai vô hạn tương tự như định lý giới hạn trung tâm tồn tại đối với các biến có phương sai vô hạn, nhưng các điều kiện hẹp hơn đáng kể so với định lý giới hạn trung tâm thông thường. Về cơ bản, đuôi của phân phối xác suất phải không có triệu chứng với cho . Trong trường hợp này, các triệu hồi được chia tỷ lệ thích hợp hội tụ thành phân phối ổn định Levy-Alpha . $|x|^{-\alpha-1}$ $0 < \alpha < 2$

Tầm quan trọng của sự độc lập Có nhiều định lý giới hạn trung tâm khác nhau cho các chuỗi không độc lập của . Họ đều có ngữ cảnh cao. Như Batman chỉ ra, có một cái cho Martingales. Câu hỏi này là một lĩnh vực nghiên cứu đang diễn ra, với nhiều, nhiều biến thể khác nhau tùy thuộc vào bối cảnh cụ thể quan tâm. Câu hỏi này trên Math Exchange là một bài khác liên quan đến câu hỏi này. $X_i$

— John
nguồn

2

Tôi đã xóa ">" khỏi một công thức mà tôi nghĩ đã xuất hiện do hệ thống trích dẫn - vui lòng đảo ngược chỉnh sửa của tôi nếu đó là cố ý!

— Cá bạc

Một mảng CLT hình tam giác có lẽ là một CLT đại diện hơn so với CLT đã nêu. Đối với không độc lập, martingale CLT là trường hợp được sử dụng hợp lý.

— dơi

@Batman, ví dụ về mảng tam giác CLT là gì? Hãy chỉnh sửa phản hồi của tôi, để thêm nó. Tôi không quen với điều đó.

— Giăng

Một cái gì đó như giây. 4.2.3 trong Personal.psu.edu/drh20/asymp/lectures/p93to100.pdf

— Batman

1

"miễn là độ lệch chuẩn không tăng quá mạnh" Hoặc co lại (ví dụ: )

σ_{i}^{2} = σ_{i - 1}^{2} / 2

$\sigma_i^2 = \sigma_{i-1}^2/2$

— leonbloy

21

Mặc dù tôi khá chắc chắn rằng nó đã được trả lời trước đây, đây là một câu hỏi khác:

Có một số phiên bản của định lý giới hạn trung tâm, phổ biến nhất là các hàm mật độ xác suất tùy ý, tổng các biến sẽ được phân phối bình thường với giá trị trung bình bằng tổng giá trị trung bình, cũng như phương sai là tổng của phương sai cá nhân.

Một hạn chế rất quan trọng và có liên quan là giá trị trung bình và phương sai của các pdf đã cho phải tồn tại và phải là hữu hạn.

Vì vậy, chỉ cần lấy bất kỳ pdf nào mà không có giá trị trung bình hoặc phương sai - và định lý giới hạn trung tâm sẽ không giữ được nữa. Vì vậy, lấy một phân phối Lorentzian chẳng hạn.

— yêu
nguồn

+1 Hoặc thực hiện phân phối với phương sai vô hạn, như phân phối bước đi ngẫu nhiên.

— Alexis

2

@Alexis - giả sử bạn đang nhìn vào một bước đi ngẫu nhiên tại một thời điểm hữu hạn, tôi đã nghĩ rằng nó sẽ có một phương sai hữu hạn, là tổng của iid mỗi bước với phương sai hữu hạn

n

$n$

— Henry

1

@Henry: Không, không giả sử tại một thời điểm, nhưng phương sai của phân phối của tất cả các bước ngẫu nhiên có thể có độ dài vô hạn.

— Alexis

1

@Alexis Nếu mỗi bước của bước đi ngẫu nhiên là hoặc iid với xác suất bằng nhau và các vị trí là thì Định lý giới hạn trung tâm ngụ ý chính xác rằng bạn có phân phối hội tụ trong phân phối cho

X_{i}

$X_i$

+ 1

$+1$

- 1

$-1$

Y_{n} = \sum_{1}^{n} X_{i}

$Y_n =\sum_1^n X_i$

n \to \infty

$n \to \infty$

\sqrt{n} (\frac{1}{n} Y_{n}) = \frac{Y_{n}}{\sqrt{n}}

$\sqrt{n}\left(\frac1n Y_n\right) = \frac{Y_n}{\sqrt{n}}$

N (0, 1)

$\mathcal N(0,1)$

— Henry

1

@Alexis Không quan trọng đối với CLT, vì mỗi phân phối riêng lẻ vẫn có phương sai hữu hạn.

— Khối

15

Không, CLT luôn giữ khi các giả định của nó được giữ. Các tiêu chuẩn như "trong hầu hết các tình huống" là các tham chiếu không chính thức về các điều kiện theo đó CLT nên được áp dụng.

Chẳng hạn, một tổ hợp tuyến tính gồm các biến độc lập từ phân phối Cauchy sẽ không thêm vào biến phân phối chuẩn . Một trong những lý do là phương sai không được xác định cho phân phối Cauchy , trong khi CLT đặt các điều kiện nhất định cho phương sai, ví dụ: nó phải là hữu hạn. Một hàm ý thú vị là vì mô phỏng Monte Carlo được thúc đẩy bởi CLT, bạn phải cẩn thận với mô phỏng Monte Carlo khi xử lý các phân phối đuôi béo, chẳng hạn như Cauchy.

Lưu ý rằng có một phiên bản tổng quát của CLT. Nó hoạt động cho các phương sai vô hạn hoặc không xác định, chẳng hạn như phân phối Cauchy. Không giống như nhiều bản phân phối ứng xử tốt, tổng các số Cauchy được chuẩn hóa đúng vẫn là Cauchy. Nó không hội tụ đến Gaussian.

Nhân tiện, không chỉ Gaussian mà nhiều bản phân phối khác cũng có các tệp PDF hình chuông, ví dụ: Student t. Đó là lý do tại sao mô tả bạn trích dẫn là khá tự do và không chính xác, có lẽ về mục đích.

— Aksakal
nguồn

7

Dưới đây là một minh họa cho câu trả lời của cherub, biểu đồ 1e5 rút ra từ phương tiện mẫu được chia tỷ lệ (bởi ) của các phân phối t với hai bậc tự do, sao cho phương sai không tồn tại . $\sqrt{n}$

Nếu CLT đã áp dụng, biểu đồ cho lớn bằng sẽ giống với mật độ của phân phối chuẩn thông thường (ví dụ: có mật độ ở mức cực đại), Điều đó rõ ràng là không. $n$ $n=1000$ $1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

— Christoph Hanck
nguồn

3

t

$t$

3

$3$

0.4

$0.4$

\frac{1}{\sqrt{6 π}} \approx 0.23

$\frac1{\sqrt{6\pi}}\approx 0.23$

1

$1$

Đó là một điểm tốt, người ta có thể tiêu chuẩn hóa giá trị trung bình bằng cách sd(x)lấy thứ gì đó, nếu CLT hoạt động, hội tụ theo định lý của Slutzky, thành một biến thiên N (0,1). Tôi muốn giữ cho ví dụ đơn giản, nhưng bạn tất nhiên là đúng.

— Christoph Hanck

6

Một trường hợp đơn giản trong đó CLT không thể giữ vì những lý do rất thực tế, là khi chuỗi các biến ngẫu nhiên đạt đến giới hạn xác suất của nó một cách nghiêm ngặt từ một phía . Điều này gặp phải ví dụ trong các công cụ ước tính ước tính một cái gì đó nằm trên một ranh giới.

$\theta$ $U(0,\theta)$ $\theta$ $\theta$ $\theta$

Công cụ ước tính được chia tỷ lệ đúng có phân phối giới hạn - nhưng không phải là "giống CLT".

— Alecos Papadopoulos
nguồn

3

Bạn có thể tìm thấy một giải pháp nhanh chóng ở đây.

Các ngoại lệ cho định lý giới hạn trung tâm phát sinh

Khi có nhiều cực đại có cùng chiều cao và
Trường hợp đạo hàm thứ hai biến mất ở mức tối đa.

Có một số trường hợp ngoại lệ khác được nêu trong câu trả lời của @cherub.

Câu hỏi tương tự đã được hỏi trên math.stackexchange . Bạn có thể kiểm tra câu trả lời ở đó.

— Ferdi
nguồn

5

Theo "cực đại", ý bạn là chế độ? Trở thành lưỡng kim không liên quan gì đến việc không thỏa mãn CLT.

— Tích lũy

M (z) = \sum_{n = - \infty}^{\infty} P (X = n) z^{n}

$M(z)=\sum_{n=-\infty}^\infty P(X=n)z^n$

@AlexR. Câu trả lời hoàn toàn không có ý nghĩa nếu không đọc qua liên kết và không rõ ràng ngay cả với liên kết. Tôi đang nghiêng về việc hạ thấp thậm chí còn tệ hơn cả câu trả lời chỉ liên kết.

— Tích lũy