Nơi nào

36

Một phiên bản rất đơn giản của định lý giới hạn trung tâm như dưới đây là Lindeberg mật Lévy CLT. Tôi không hiểu tại sao lại có ở phía bên tay trái. Và Lyapunov CLT nói nhưng tại sao không phải ? Có ai cho tôi biết những yếu tố này là gì không, chẳng hạn như và ? Làm thế nào để chúng ta có được chúng trong định lý?

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}}

$\frac{1}{s_n}$

central-limit-theorem intuition

— Lợn bay
nguồn

3

Điều này được giải thích tại stats.stackexchange.com/questions/3734 . Câu trả lời đó dài, vì nó yêu cầu "trực giác". Tuy nhiên, nó kết luận: "Phép tính gần đúng đơn giản này cho thấy ban đầu de Moivre có thể nghi ngờ rằng có một phân phối giới hạn phổ quát, rằng logarit của nó là một hàm bậc hai và hệ số tỷ lệ phù hợp phải tỷ lệ thuận với .... "

s_{n}

$s_n$

\sqrt{n}

$\sqrt{n}$

— whuber

1

Theo trực giác, nếu tất cả thì và dòng thứ 2 theo sau dòng 1: chia cho (tất nhiên điều kiện Lyapunov, kết hợp tắt tất cả , là một câu hỏi khác)

σ_{i} = σ

$\sigma_i=\sigma$

s_{n} = \sqrt{\sum σ_{i}^{2}} = \sqrt{n} σ

$s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$

\sqrt{n} ((\frac{1}{n} Σ_{tôi = = 1}^{n} X_{tôi}) - μ) = = \frac{1}{\sqrt{n}} Σ_{tôi = = 1}^{n} (X_{tôi} - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

σ = \frac{s_{n}}{\sqrt{n}}

$\sigma = \frac{s_n}{\sqrt{n}}$

\frac{\frac{1}{\sqrt{n}} Σ_{tôi = = 1}^{n} (X_{tôi} - μ)}{\frac{S_{n}}{\sqrt{n}}} = = \frac{1}{S_{n}} Σ_{tôi = = 1}^{n} (X_{tôi} - μ_{tôi}) \overset{d}{\to} N (0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ $\sigma_i$

— Sextus Empiricus

33

Câu hỏi hay (+1) !!

Bạn sẽ nhớ rằng đối với các biến ngẫu nhiên độc lập và , và . Vì vậy phương sai của là và phương sai của là . $X$ $Y$ $Var(X+Y) = Var(X) + Var(Y)$ $Var(a\cdot X) = a^2 \cdot Var(X)$ $\sum_{i=1}^n X_i$ $\sum_{i=1}^n \sigma^2 = n\sigma^2$ $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ $n\sigma^2 / n^2 = \sigma^2/n$

Điều này là cho phương sai . Để chuẩn hóa một biến ngẫu nhiên, bạn chia nó cho độ lệch chuẩn của nó. Như bạn đã biết, giá trị mong đợi của là , do đó, biến $\bar{X}$ $\mu$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$ có giá trị kỳ vọng 0 và phương sai 1. Vì vậy, nếu nó có xu hướng theo Gaussian, thì nó phải là Gaussian . Công thức của bạn trong phương trình đầu tiên là tương đương. Bằng cách nhân phía bên trái với bạn đặt phương sai thành .

N (0, 1)

$\mathcal{N}(0,\;1)$

σ

$\sigma$

σ^{2}

$\sigma^2$

Về điểm thứ hai của bạn, tôi tin rằng phương trình hiển thị ở trên minh họa rằng bạn phải chia cho chứ không phải để chuẩn hóa phương trình, giải thích lý do tại sao bạn sử dụng (công cụ ước tính của chứ không phải . $\sigma$ $\sqrt{\sigma}$ $s_n$ $\sigma)$ $\sqrt{s_n}$

Ngoài ra: @whuber đề nghị thảo luận về lý do chia tỷ lệ theo . Anh ấy làm điều đó ở đó , nhưng vì câu trả lời rất dài nên tôi sẽ cố gắng nắm bắt bản chất của cuộc tranh luận của anh ấy (đó là sự tái tạo lại suy nghĩ của de Moivre). $\sqrt{n}$

Nếu bạn thêm một số lượng lớn là +1 và -1, bạn có thể tính gần đúng xác suất của tổng đó sẽ là bằng cách đếm sơ cấp. Nhật ký của xác suất này tỷ lệ thuận với . Vì vậy, nếu chúng ta muốn xác suất ở trên hội tụ đến một hằng số khi lớn, chúng ta phải sử dụng hệ số chuẩn hóa trong . $n$ $j$ $-j^2/n$ $n$ $O(\sqrt{n})$

Sử dụng các công cụ toán học hiện đại (post de Moivre), bạn có thể thấy phép tính gần đúng được đề cập ở trên bằng cách nhận thấy rằng xác suất tìm kiếm là

P (j) = \frac{(\binom{n}{n / 2 + j})}{2^{n}} = \frac{n!}{2^{n} (n / 2 + j)! (n / 2 - j)!}

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

mà chúng tôi ước tính theo công thức của Stirling

P (j) \approx \frac{n^{n} e^{n / 2 + j} e^{n / 2 - j}}{2^{n} e^{n} (n / 2 + j)^{n / 2 + j} (n / 2 - j)^{n / 2 - j}} = {(\frac{1}{1 + 2 j / n})}^{n + j} {(\frac{1}{1 - 2 j / n})}^{n - j} .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

đăng nhập (P (j)) = = - (n + j) đăng nhập (1 + 2 j / n) - (n - j) đăng nhập (1 - 2 j / n) ~ - 2 j (n + j) / n + 2 j (n - j) / n α - j^{2} / n .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
nguồn

Xin vui lòng xem ý kiến của tôi cho câu trả lời trước của Michael C. và anh chàng.

— whuber

Có vẻ như phương trình đầu tiên (LL CLT) s / b ? Điều đó làm tôi bối rối vì xuất hiện dưới dạng phương sai.

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, 1)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ^{2}

$\sigma^2$

— B_Miner

Nếu bạn tham số Gaussian với giá trị trung bình và phương sai (không phải độ lệch chuẩn) thì tôi tin rằng công thức của OP là chính xác.

— gui11aume

1

À..Given rằng nếu chúng ta nhân bởi chúng ta có được những gì được hiển thị bởi OP ( hủy): cụ thể là . Nhưng chúng ta biết rằng VAR (aX) = a ^ 2Var (X) trong trường hợp này a = và Var (X) là 1 nên phân phối là .

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ} \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ

$\sigma$

σ

$\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ^{2}

$\sigma^2$

N (0, σ^{2})

$\mathcal{N}(0,\;\sigma^2)$

— B_Miner

Gui, nếu không quá muộn tôi muốn chắc chắn rằng tôi đã sửa nó. Nếu chúng tôi giả sử và chúng tôi nhân với một hằng số ( ), giá trị mong đợi của đại lượng này (tức là ), số 0 vẫn là 0 vì E [aX] = a * E [X] => * 0 = 0. Điều này có đúng không?

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} (\bar{X} - μ) \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ

$\sigma$

\sqrt{n} (\bar{X} - μ)

$\sqrt{n} ({\bar{X} - \mu})$

σ

$\sigma$

— B_Miner

8

Có một lý thuyết hay về loại phân phối nào có thể hạn chế phân phối tổng của các biến ngẫu nhiên. Tài nguyên tuyệt vời là cuốn sách sau đây của Petrov, mà cá nhân tôi rất thích.

Hóa ra, nếu bạn đang nghiên cứu các giới hạn của loại này trong đó là các biến ngẫu nhiên độc lập, phân phối các giới hạn là chỉ phân phối nhất định.

\frac{1}{a_{n}} \sum_{i = 1}^{n} X_{n} - b_{n}, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

X_{i}

$X_i$

Sau đó, có rất nhiều toán học xuất hiện, trong đó có một số định lý hoàn toàn mô tả những gì xảy ra trong giới hạn. Một trong những định lý như vậy là do Feller:

Định lý Đặt là một chuỗi các biến ngẫu nhiên độc lập, là hàm phân phối của và là một chuỗi hằng số dương. Để $\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max_{1 \leq k \leq n} P (| X_{k} | \geq ε a_{n}) \to 0, for every fixed ε > 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

và

sup_{x} | P (a_{n}^{- 1} \sum_{k = = 1}^{n} X_{k} < x) - Φ (x) | \to 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

nó là cần thiết và đủ

Σ_{k = = 1}^{n} \int_{| x | \geq ε {một}_{n}} d V_{k} (x) \to 0 cho mọi cố định ε > 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

a_{n}^{- 2} \sum_{k = 1}^{n} (\int_{| x | < a_{n}} x^{2} d V_{k} (x) - {(\int_{| x | < a_{n}} x d V_{k} (x))}^{2}) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

và

a_{n}^{- 1} \sum_{k = 1}^{n} \int_{| x | < a_{n}} x d V_{k} (x) \to 0.

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

Định lý này sau đó cung cấp cho bạn một ý tưởng về việc sẽ trông như thế nào. $a_n$

Lý thuyết chung trong cuốn sách được xây dựng theo cách mà hằng số định mức bị hạn chế theo bất kỳ cách nào, nhưng các định lý cuối cùng đưa ra các điều kiện cần và đủ , không để lại bất kỳ chỗ nào cho hằng số định mức khác với . $\sqrt{n}$

— mpiktas
nguồn

4

s đại diện cho độ lệch chuẩn mẫu cho giá trị trung bình mẫu. s là phương sai mẫu cho trung bình mẫu và nó bằng S / n. Trong đó S là ước tính mẫu của phương sai dân số. Vì s = S / √n giải thích cách √n xuất hiện trong công thức đầu tiên. Lưu ý rằng sẽ có một trong mẫu số nếu giới hạn là $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N (0,1) nhưng giới hạn được đưa ra là N (0, σ ). Vì S là ước lượng nhất quán của, nó được sử dụng trong phương trình secnd để đưa ra khỏi giới hạn. $^2$ $_n$

— Michael R. Chernick
nguồn

Điều gì về phần khác (cơ bản và quan trọng hơn) của câu hỏi: tại sao mà không phải là một số biện pháp phân tán khác?

s_{n}

$s_n$

— whuber

@whuber Điều đó có thể được đưa ra để thảo luận nhưng nó không phải là một phần của câu hỏi. OP chỉ muốn biết tại sao s và andn xuất hiện trong công thức cho CLT. Tất nhiên S là có bởi vì nó phù hợp với và ở dạng đó của CLT bị loại bỏ.

_{n}

$_n$

_{n}

$_n$

— Michael R. Chernick

1

Đối với tôi không rõ ràng rằng có mặt vì nó "phù hợp với ". Tại sao điều đó cũng không ngụ ý rằng nên được sử dụng để bình thường hóa các thống kê giá trị cực trị (sẽ không hoạt động)? Tôi có thiếu một cái gì đó đơn giản và hiển nhiên? Và, để lặp lại OP, tại sao không sử dụng sau tất cả, điều đó phù hợp với !

s_{n}

$s_n$

σ

$\sigma$

s_{n}

$s_n$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{σ}

$\sqrt{\sigma}$

— whuber

Định lý như đã nêu đã hội tụ đến N (0,1), vì vậy để đạt được điều đó bạn phải biết và sử dụng nó hoặc sử dụng một ước lượng nhất quán về nó hoạt động theo định lý Slutsky tôi nghĩ. Có phải tôi không rõ ràng?

— Michael R. Chernick

Tôi không nghĩ bạn không rõ ràng; Tôi chỉ nghĩ rằng một điểm quan trọng có thể bị thiếu. cho cùng, đối với nhiều bản phân phối, chúng tôi có thể có được phân phối bình thường giới hạn bằng cách sử dụng IQR thay vì nhưng sau đó kết quả không gọn gàng (SD của phân phối giới hạn phụ thuộc vào phân phối mà chúng tôi bắt đầu). Tôi chỉ đề nghị rằng điều này xứng đáng được gọi ra và giải thích. Nó sẽ không hoàn toàn rõ ràng đối với một người không có trực giác được phát triển sau 40 năm chuẩn hóa tất cả các bản phân phối mà họ gặp phải!

s_{n}

$s_n$

— whuber

2

Theo trực giác, nếu đối với một số chúng ta sẽ mong đợi rằng gần bằng với ; Có vẻ như đó là một kỳ vọng khá hợp lý, mặc dù tôi không nghĩ rằng nó là cần thiết nói chung. Lý do cho trong biểu thức đầu tiên là vì phương sai của chuyển sang như và do đó đang làm tăng phương sai để biểu thức chỉ có phương sai bằng . Trong biểu thức thứ hai, thuật ngữ được xác định là $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ $\sqrt n$ $\bar X_n - \mu$ $0$ $\frac 1 n$ $\sqrt n$ $\sigma^2$ $s_n$ $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ trong khi phương sai của tử số tăng như , do đó chúng ta lại có phương sai của toàn bộ biểu thức là hằng số ( trong trường hợp này). $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

Về cơ bản, chúng tôi biết điều gì đó "thú vị" đang xảy ra với việc phân phối , nhưng nếu chúng tôi không tập trung chính xác và mở rộng quy mô thì chúng tôi sẽ không thể nhìn thấy. Đôi khi tôi đã nghe điều này được mô tả là cần điều chỉnh kính hiển vi. Nếu chúng ta không nổ tung (ví dụ) bởi thì chúng ta chỉ có trong phân phối theo luật yếu; một kết quả thú vị theo đúng nghĩa của nó nhưng không có nhiều thông tin như CLT. Nếu chúng ta tăng bởi bất kỳ yếu tố nào bị chi phối bởi , chúng ta vẫn nhận được trong khi bất kỳ yếu tố nào chi phối $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ $\sqrt n$ cung cấp . Hóa ra chỉ là độ phóng đại phù hợp để có thể thấy những gì đang diễn ra trong trường hợp này (lưu ý: tất cả sự hội tụ ở đây là trong phân phối; có một mức độ phóng đại khác rất thú vị cho sự hội tụ gần như chắc chắn, làm tăng theo luật logarit lặp). $a_n(\bar X_n - \mu) \to \infty$ $\sqrt n$

— chàng
nguồn

4

Một câu hỏi cơ bản hơn, cần được giải quyết trước tiên, là tại sao SD được sử dụng để đo lường sự phân tán. Tại sao không phải là thời điểm trung tâm tuyệt đối cho một số giá trị khác của ? Hoặc tại sao không phải là IQR hoặc bất kỳ người thân nào của nó? Khi điều đó được trả lời, các thuộc tính đơn giản của hiệp phương sai ngay lập tức cung cấp sự phụ thuộc (như @ Gui11aume đã giải thích gần đây.)

k^{th}

$k^\text{th}$

k

$k$

\sqrt{n}

$\sqrt{n}$

— whuber

1

@whuber Tôi đồng ý, đó là lý do tại sao tôi trình bày này là heuristic. Tôi không chắc chắn có thể chấp nhận một lời giải thích đơn giản, mặc dù tôi rất thích nghe một lời giải thích. Đối với tôi tôi không chắc chắn rằng tôi có một lý do đơn giản hơn, có thể giải thích được "bởi vì thuật ngữ bình phương là thuật ngữ có liên quan trong việc mở rộng Taylor của hàm đặc trưng một khi bạn trừ đi giá trị trung bình."

— anh chàng