Các giả định bình phương nhỏ nhất

Giả sử mối quan hệ tuyến tính sau: , trong đó là biến phụ thuộc, một biến độc lập duy nhất và là thuật ngữ lỗi.Y i X i u $Y_i = \beta_0 + \beta_1 X_i + u_i$$Y_i$$X_i$$u_i$

Theo Stock & Watson (Giới thiệu về Kinh tế lượng; Chương 4 ), giả định bình phương nhỏ thứ ba là khoảnh khắc thứ tư của $X_i$ và $u_i$ là khác không và hữu hạn $(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$ .

Tôi có ba câu hỏi:

1. Tôi không hoàn toàn hiểu vai trò của giả định này. OLS có sai lệch và không nhất quán nếu giả định này không giữ được hay chúng ta cần giả định này để suy luận?

2. Stock và Watson viết "giả định này giới hạn xác suất vẽ một quan sát với các giá trị cực lớn của $X_i$ hoặc $u_i$ ." Tuy nhiên, trực giác của tôi là giả định này là cực đoan. Có phải chúng ta gặp rắc rối nếu chúng ta có các ngoại lệ lớn (sao cho khoảnh khắc thứ tư là lớn) nhưng nếu các giá trị này vẫn là hữu hạn? Nhân tiện: định nghĩa cơ bản là một ngoại lệ là gì?

3. Chúng ta có thể định dạng lại điều này như sau: "Sự bứt rứt của $X_i$ và $u_i$ là khác không và hữu hạn?"

Bạn không cần các giả định về các khoảnh khắc thứ 4 về tính nhất quán của công cụ ước tính OLS, nhưng bạn cần các giả định về các thời điểm cao hơn của và ϵ cho tính chuẩn bất đối xứng và để ước lượng nhất quán ma trận hiệp phương sai tiệm cận là gì.$x$$\epsilon$

Trong một số ý nghĩa, đó là một điểm toán học, kỹ thuật, không phải là một điểm thực tế. Đối với OLS để làm việc tốt trong các mẫu hữu hạn trong một nghĩa nào đó đòi hỏi nhiều hơn các giả định tối thiểu cần thiết để đạt được sự nhất quán tiệm cận hoặc bình thường như .$n \rightarrow \infty$

Điều kiện đủ để thống nhất:

Nếu bạn có phương trình hồi quy:

$$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$$

Công cụ ước tính OLS có thể được viết là: b =β+( X '$\hat{\mathbf{b}}$

$$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$$

Để thống nhất , bạn cần có thể áp dụng Định luật số lớn của Kolmogorov hoặc, trong trường hợp chuỗi thời gian với sự phụ thuộc nối tiếp, một cái gì đó giống như Định lý Ergodic của Karlin và Taylor sao cho:

$$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$$

Các giả định khác cần thiết là:

• $\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$ là thứ hạng đầy đủ và do đó ma trận không thể đảo ngược.
• Các biến áp được xác định trước hoặc ngoại sinh nghiêm ngặt sao cho .$\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$

Sau đó và bạn nhận được$\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$$\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

Nếu bạn muốn áp dụng định lý giới hạn trung tâm thì bạn cần giả định vào những thời điểm cao hơn, ví dụ: trong đó . Định lý giới hạn trung tâm là những gì mang lại cho bạn tính quy phạm tiệm cận của và cho phép bạn nói về các lỗi tiêu chuẩn. Đối với khoảnh khắc thứ hai để tồn tại, bạn cần tồn tại khoảnh khắc thứ 4 của và . Bạn muốn tranh luận rằng ở đâu$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$\mathbf{g_i} = \mathbf{x}_i \epsilon_i$$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$$x$$\epsilon$$\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$$\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$ . Để làm việc này, phải là hữu hạn.$\Sigma$

Một cuộc thảo luận thú vị (thúc đẩy bài đăng này) được đưa ra trong Kinh tế lượng của Hayashi . (Xem thêm trang 149 để biết khoảnh khắc thứ 4 và ước tính ma trận hiệp phương sai.)

Thảo luận:

Những yêu cầu này vào khoảnh khắc thứ 4 có lẽ là một điểm kỹ thuật hơn là một điểm thực tế. Bạn có thể sẽ không gặp phải các bản phân phối bệnh lý trong đó đây là vấn đề trong dữ liệu hàng ngày? Đó là cho các giả định phổ biến hơn hoặc các giả định khác của OLS trở nên tồi tệ.

Một câu hỏi khác, chắc chắn đã được trả lời ở nơi khác trên Stackexchange, là bạn cần bao nhiêu mẫu cho các mẫu hữu hạn để tiến gần đến kết quả tiệm cận. Có một số ý nghĩa trong đó các ngoại lệ tuyệt vời dẫn đến sự hội tụ chậm. Ví dụ: thử ước tính giá trị trung bình của phân phối lognatural với phương sai thực sự cao. Giá trị trung bình mẫu là một công cụ ước lượng nhất quán, không thiên vị của trung bình dân số, nhưng trong trường hợp log-log bình thường với sự kurtosis dư thừa điên rồ, v.v ... (theo liên kết), kết quả mẫu hữu hạn thực sự khá tắt.

Hữu hạn so với vô hạn là một sự phân biệt cực kỳ quan trọng trong toán học. Đó không phải là vấn đề bạn gặp phải trong thống kê hàng ngày. Vấn đề thực tế là nhiều hơn trong các loại nhỏ so với lớn. Là phương sai, kurtosis vv ... đủ nhỏ để tôi có thể đạt được ước tính hợp lý cho kích thước mẫu của tôi?

Ví dụ bệnh lý trong đó công cụ ước tính OLS phù hợp nhưng không bình thường

Xem xét:

$$y_i = b x_i + \epsilon_i$$ Trong đó nhưng được rút ra từ phân phối t với 2 bậc tự do, do đó . Ước tính OLS hội tụ xác suất đến nhưng phân phối mẫu cho ước tính OLS thường không được phân phối. Dưới đây là phân phối theo kinh nghiệm cho dựa trên 10000 mô phỏng hồi quy với 10000 quan sát.$x_i \sim \mathcal{N}(0,1)$$\epsilon_i$$\mathrm{Var}(\epsilon_i) = \infty$$b$$\hat{b}$$\hat{b}$

Việc phân phối không bình thường, đuôi quá nặng. Nhưng nếu bạn tăng mức độ tự do lên 3 để thời điểm thứ hai của tồn tại thì giới hạn trung tâm sẽ được áp dụng và bạn nhận được: $\hat{b}$$\epsilon_i$

Mã để tạo ra nó:

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

1. Đây là một giả định đủ, nhưng không phải là một giả định tối thiểu [1]. OLS không được thiên vị trong các điều kiện này, nó chỉ là không phù hợp. Các đặc tính tiệm cận của OLS bị phá vỡ khi có thể có ảnh hưởng cực lớn và / hoặc nếu bạn có thể thu được số dư cực lớn. Bạn có thể không gặp phải một bài thuyết trình chính thức về định lý giới hạn trung tâm của Lindeberg Feller, nhưng đó là những gì họ đang giải quyết ở đây với điều kiện khoảnh khắc thứ tư, và điều kiện Lindeberg cho chúng ta về cơ bản điều tương tự: không có điểm ảnh hưởng chồng chéo, không có đòn bẩy cao điểm [2].$X$

2. Những nền tảng lý thuyết của thống kê gây ra nhiều nhầm lẫn khi đun sôi cho các ứng dụng thực tế. Không có định nghĩa về một ngoại lệ, nó là một khái niệm trực quan. Để hiểu một cách đại khái, quan sát sẽ phải là điểm đòn bẩy cao hoặc điểm ảnh hưởng cao, ví dụ: điểm mà chẩn đoán xóa (DF beta) là rất lớn hoặc trong đó khoảng cách Mahalanobis trong các yếu tố dự đoán là lớn (trong các số liệu thống kê đơn biến đó chỉ là điểm Z). Nhưng hãy quay trở lại vấn đề thực tế: nếu tôi thực hiện một cuộc khảo sát ngẫu nhiên về con người và thu nhập hộ gia đình của họ, và trong số 100 người, 1 trong số những người tôi lấy mẫu là triệu phú, tôi đoán tốt nhất là triệu phú là đại diện cho 1% dân số . Trong một bài giảng về sinh học, các hiệu trưởng này được thảo luận và nhấn mạnh rằng bất kỳ công cụ chẩn đoán nào về cơ bản là thăm dò [3].không phải "phân tích loại trừ ngoại lệ là cái tôi tin", đó là "loại bỏ một điểm đã thay đổi hoàn toàn phân tích của tôi."

3. Kurtosis là một đại lượng tỷ lệ phụ thuộc vào thời điểm phân phối thứ hai, nhưng giả định về phương sai hữu hạn, khác không đối với các giá trị này là ngầm định vì tài sản này không thể giữ trong giây thứ tư mà không phải trong giây thứ hai. Vì vậy, về cơ bản là có, nhưng nhìn chung tôi chưa bao giờ kiểm tra cả sự suy yếu hoặc khoảnh khắc thứ tư. Tôi không thấy chúng là một biện pháp thực tế hay trực quan. Trong thời đại này khi một biểu đồ hoặc biểu đồ phân tán được tạo ra bởi một ngón tay của một người, nó sẽ cho chúng ta sử dụng các thống kê chẩn đoán đồ họa định tính, bằng cách kiểm tra các lô này.

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is-satisfied

[2] http://projecteuclid.org/doad/pdf_1/euclid.ss/1177013818

[3] http://facemony.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html