Khi định lý giới hạn trung tâm và định luật về số lượng lớn không đồng ý

Đây thực chất là một bản sao của một câu hỏi tôi tìm thấy tại math.se , không nhận được câu trả lời mà tôi hy vọng.

Đặt là một chuỗi các biến ngẫu nhiên độc lập, được phân phối giống hệt nhau, với và .$\{ X_i \}_{i \in \mathbb{N}}$$\mathbb{E}[X_i] = 1$$\mathbb{V}[X_i] = 1$

Xem xét đánh giá

$$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)$$

Biểu thức này phải được thao tác vì cả hai mặt của sự kiện bất bình đẳng có xu hướng vô cùng.

A) ĐĂNG KÝ THỬ

Trước khi xem xét tuyên bố giới hạn, hãy trừ $\sqrt{n}$ từ cả hai phía:

$$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i -\sqrt{n} \leq \sqrt{n}-\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - 1) \leq 0\right) \\ = \Phi(0) = \frac{1}{2}$$

đẳng thức cuối cùng của CLT, trong đó $\Phi()$ là hàm phân phối chuẩn thông thường.

B) ĐA NĂNG

Nhân cả hai bên với $1/\sqrt{n}$

$$\lim_{n \to \infty} \mathbb{P}\left(\frac {1}{\sqrt{n}}\cdot \frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \frac {1}{\sqrt{n}}\cdot\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^n X_i \leq 1\right)$$

$$= \lim_{n \to \infty} \mathbb{P}\left(\bar X_n \leq 1\right) = \lim_{n \to \infty}F_{\bar X_n}(1) = 1$$

Trong đó $F_{\bar X_n}()$ là hàm phân phối của trung bình mẫu $\bar X_n$ , do LLN hội tụ theo xác suất (và cả trong phân phối) cho hằng số $1$ , do đó là đẳng thức cuối cùng.

Vì vậy, chúng tôi nhận được kết quả mâu thuẫn. Cái nào đúng? Và tại sao người kia lại sai?

Lỗi ở đây có khả năng xảy ra trong thực tế sau: hội tụ trong phân phối ngầm giả định rằng hội tụ đến tại các điểm liên tục của . Do phân phối giới hạn là một biến ngẫu nhiên không đổi, nên nó có một bước nhảy không đổi tại , do đó không chính xác khi kết luận rằng CDF hội tụ đến . $F_n(x)$$F(x)$ $F(x)$$x=1$$F(x)=1$

Cho iid các biến ngẫu nhiên với E [ X i ] = var ( X i ) = 1 xác định Z $X_i$$E[X_i]= \operatorname{var}(X_i)=1$ Bây giờ, CLT nói rằng đối với mỗicố địnhsố thựcz,limn→∞FZn(z)=Φ(z-1). OP áp dụng CLT để đánh giá limn→∞P(Zn≤

$$\begin{align}Z_n &= \frac{1}{\sqrt{n}}\sum_{i=1}^n X_i,\\ Y_n &= \frac{1}{{n}}\sum_{i=1}^n X_i. \end{align}$$ $z$$\lim_{n\to\infty} F_{Z_n}(z) = \Phi(z-1)$ $$\lim_{n\to\infty}P\left(Z_n \leq \frac{1}{\sqrt{n}}\right) = \Phi(0) = \frac 12.$$

Như câu trả lời khác cũng như một số các ý kiến về câu hỏi của OP đã chỉ ra, đó là đánh giá của OP của đó là nghi ngờ. Hãy xem xét trường hợp đặc biệt khi iid X i là các biến ngẫu nhiên rời rạc lấy các giá trị 0 và 2 với xác suất 1 bằng nhau$\lim_{n\to\infty} P(Y_n \leq 1)$$X_i$$0$$2$ . Bây giờ,∑ n i = 1 Xtôicó thể nhậntấtcả các giá trị nguyên chẵn trong[0,2n]và vì vậy khinlà số lẻ, ∑ n i = 1 Xtôikhông thể nhận giá trịnvà do đóYn=$\frac 12$$\sum_{i=1}^n X_i$$[0,2n]$$n$$\sum_{i=1}^n X_i$$n$không thể nhận giá trị1. Hơn nữa, vì sự phân bố củaYnlà đối xứng về1, ta có P(Yn≤1)=FYn(1)có giá trị$Y_n = \frac 1n \sum_{i=1}^n X_i$ $1$$Y_n$$1$$P(Y_n \leq 1) = F_{Y_n}(1)$ bất cứ khi nàonlà số lẻ. Như vậy,chuỗicác số P(Y1≤1),P(Y2≤1),...,P(Yn≤1),... chứa cácdãyP(Y1≤1),P(Y3≤1),Lọ,P($\frac 12$$n$

$$P(Y_1 \leq 1), P(Y_2 \leq 1), \ldots, P(Y_n \leq 1), \ldots$$ trong đó tất cả các điều khoản có giá trị $$P(Y_1 \leq 1), P(Y_3 \leq 1), \ldots, P(Y_{2k-1} \leq 1), \ldots$$ . Mặt khác, cácdãyP(Y2≤1),P(Y4≤1),...,P(Y2k≤1),... đượchội tụđể1. Do đó,limn→∞P(Yn≤1)không tồn tại và tuyên bố của hội tụ củaP(Yn≤$\frac 12$ $$P(Y_2 \leq 1), P(Y_ 4\leq 1), \ldots, P(Y_{2k} \leq 1), \ldots$$ $1$$\lim_{n\to\infty} P(Y_n \leq 1)$ đến 1 phải được xem với rất nhiều sự nghi ngờ.$P(Y_n\leq 1)$

Kết quả đầu tiên của bạn là chính xác. Lỗi của bạn xảy ra trong phần thứ hai, trong câu lệnh sai sau đây:

$$\lim_{n \rightarrow \infty} F_{\bar{X}_n}(1) = 1.$$

Tuyên bố này là sai (phía bên tay phải là ) và nó không tuân theoluật số lượng lớnnhư đã khẳng định. Luật yếu của số lượng lớn (mà bạn viện dẫn) nói rằng:$\tfrac{1}{2}$

$$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0.$$

Đối với tất cả điều kiện | ˉ X n - 1 | ⩽ ε nhịp một số giá trị nơi ˉ X n ⩽ 1 và một số giá trị nơi ˉ X n > 1 . Do đó, nó không làm theo từ LLN rằng lim n → ∞ P ( ˉ X n ⩽ 1 ) = 1 .$\varepsilon > 0$$|\bar{X}_n - 1| \leqslant \varepsilon$$\bar{X}_n \leqslant 1$$\bar{X}_n > 1$$\lim_{n \rightarrow \infty} \mathbb{P} ( \bar{X}_n \leqslant 1 ) = 1$

Sự hội tụ trong xác suất ngụ ý sự hội tụ trong phân phối. Nhưng ... phân phối gì? Nếu phân phối giới hạn có gián đoạn bước nhảy thì các giới hạn trở nên mơ hồ (vì có thể có nhiều giá trị tại điểm gián đoạn).

Trong đó là hàm phân phối của giá trị trung bình mẫu ˉ X n , do LLN hội tụ theo xác suất (và cả trong phân phối) cho hằng số 1 ,$F_{\bar X_n}()$$\bar X_n$$1$

This is not right, and it is also easy to show that it can not be right (different from the disagreement between CLT and LLN). The limiting distribution (which can be seen as the limit for a sequence of normal distributed variables) should be:

$$F_{\bar{X}_\infty}(x) = \begin{cases} 0 & \text{for } x<1 \\ 0.5& \text{for } x=1\\ 1 & \text{for } x>1 \end{cases}$$

$\epsilon>0$$x$$|F_{\bar{X}_n}(x)-F_{\bar{X}_\infty}(x)|<\epsilon$$n$$F_{\bar{X}_\infty}(1)=1$ instead of $F_{\bar{X}_\infty}(1)=0.5$

---

Limit of a normal distribution

It may be helpful to explicitly write out the sum used to invoke the law of large numbers.

$$\bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i \sim N(1,\frac{1}{n})$$

^{The limit $n\to \infty$ for $\hat{X}_n$ is actually equivalent to the Dirac Delta function when it is represented as the limit of the normal distribution with the variance going to zero.}

Using that expression it is more easy to see what is going on under the hood, rather than using the ready-made laws of the CLT an LLN which obscure the reasoning behind the laws.

---

Convergence in probability

The law of large numbers gives you 'convergence in probability'

$$\lim_{n \to \infty} P(|\bar{X}_n-1|>\epsilon) =0$$

with $\epsilon > 0$

^{An equivalent statement could be made for the central limit theorem with $\lim_{n \to \infty} P(|\frac{1}{\sqrt{n}}\sum \left( X_i-1 \right)|>\frac{\epsilon}{n}) =0$}

It is wrong to state that this implies

$$\lim_{n \to \infty} P(|\bar{X}_n-1|>0) =0$$

^{It is less nice that this question is cross-posted so early (confusing, yet interesting to see the different discussions/approaches math vs stats, so not that too bad). The answer by Michael Hardy on the math stackexchange deals with it very effectively in terms of the strong law of large numbers (the same principle as the accepted answer from drhab in the cross posted question and Dilip here). We are almost sure that a sequence $\bar{X}_1, \bar{X}_2, \bar{X}_3, ... \bar{X}_n$ converges to 1, but this does not mean that $\lim_{n \to \infty} P(\bar{X}_n = 1)$ will be equal to 1 (or it may not even exist as Dilip shows). The dice example in the comments by Tomasz shows this very nicely from a different angle (instead of the limit not existing, the limit goes to zero). The mean of a sequence of dice rolls will converge to the mean of the dice but the probability to be equal to this goes to zero.}

---

Heaviside step function and Dirac delta function

The CDF of $\bar{X}_n$ is the following:

$$F_{\bar{X}_n}(x) = \frac{1}{2} \left(1 + \text{erf} \frac{x-1}{\sqrt{2/n}} \right)$$

with, if you like, $\lim_{n \to \infty} F_{\bar{X}_n}(1) = 0.5$ (related to the Heaviside step function, the integral of the Dirac delta function when viewed as the limit of normal distribution).

---

I believe that this view intuitively resolves your question regarding 'show that it is wrong' or at least it shows that the question about understanding the cause of this disagreement of CLT and LLN is equivalent to the question of understanding the integral of the Dirac delta function or a sequence of normal distributions with variance decreasing to zero.

I believe it should be clear by now that "the CLT approach" gives the right answer.

Let's pinpoint exactly where the "LLN approach" goes wrong.

Starting with the finite statements, it is clear then that we can equivalently either subtract $\sqrt{n}$ from both sides, or multliply both sides by $1/\sqrt{n}$. We get

$$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)=\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1) \leq 0\right) = \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^nX_i \leq 1\right)$$

So if the limit exists, it will be identical. Setting $Z_n = \frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1)$, we have, using distribution functions

$$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)= F_{Z_n}(0) = F_{\bar X_n}(1)$$

...and it is true that $\lim_{n\to \infty}F_{Z_n}(0)= \Phi(0) = 1/2$.

The thinking in the "LLN approach" goes as follows: "We know from the LLN that $\bar X_n$ converges in probabililty to a constant. And we also know that "convergence in probability implies convergence in distribution". So, $\bar X_n$ converges in distribution to a constant". Up to here we are correct.
Then we state: "therefore, limiting probabilities for $\bar X_n$ are given by the distribution function of the constant at $1$ random variable",

$$F_1(x) = \cases {1 \;\;\;\;x\geq 1 \\ 0 \;\;\;\;x<1} \implies F_1(1) = 1$$

... so $\lim_{n\to \infty} F_{\bar X_n}(1) = F_1(1) = 1$...

...and we just made our mistake. Why? Because, as @AlexR. answer noted, "convergence in distribution" covers only the points of continuity of the limiting distribution function. And $1$ is a point of discontinuity for $F_1$. This means that $\lim_{n\to \infty} F_{\bar X_n}(1)$ may be equal to $F_1(1)$ but it may be not, without negating the "convergence in distribution to a constant" implication of the LLN.

And since from the CLT approach we know what the value of the limit must be ($1/2$). I do not know of a way to prove directly that $\lim_{n\to \infty} F_{\bar X_n}(1) = 1/2$.

Did we learn anything new?

I did. The LLN asserts that

$$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0$$

$$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big( 1-\varepsilon <\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$$

$$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big(\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$$

The LLN does not say how is the probability allocated in the $(1-\varepsilon, 1+\varepsilon)$ interval. What I learned is that, in this class of convergence results, the probability is at the limit allocated equally on the two sides of the centerpoint of the collapsing interval.

The general statement here is, assume

$$X_n\to_p \theta,\;\;\; h(n)(X_n-\theta) \to_d D(0,V)$$

where $D$ is some rv with distribution function $F_D$. Then

$$\lim_{n\to \infty} \mathbb P[X_n \leq \theta] = \lim_{n\to \infty}\mathbb P[h(n)(X_n-\theta) \leq 0] = F_D(0)$$

...which may not be equal to $F_{\theta}(0)$ (the distribution function of the constant rv).

Also, this is a strong example that, when the distribution function of the limiting random variable has discontinuities, then "convergence in distribution to a random variable" may describe a situation where "the limiting distribution" may disagree with the "distribution of the limiting random variable" at the discontinuity points. Strictly speaking, the limiting distribution for the continuity points is that of the constant random variable. For the discontinuity points we may be able to calculate the limiting probability, as "separate" entities.