Hậu quả của việc có phương sai không liên tục trong các điều khoản lỗi trong hồi quy tuyến tính là gì?

Một trong những giả định của hồi quy tuyến tính là cần có sự khác biệt không đổi trong các điều khoản lỗi và các khoảng tin cậy và kiểm tra giả thuyết liên quan đến mô hình dựa trên giả định này. Điều gì chính xác xảy ra khi các điều khoản lỗi không có phương sai không đổi?

— Kira
nguồn

Hậu quả của sự không đồng nhất là:

Công cụ ước tính bình phương nhỏ nhất (OLS) bình thường vẫn nhất quán nhưng không còn hiệu quả . $\hat{\mathbf{b}} = \left(X'X \right)X'\mathbf{y}$
Ước tính trong đó là không một ước lượng phù hợp nữa cho ma trận hiệp phương sai của ước lượng của bạn . Nó có thể là cả thiên vị và không nhất quán. Và trong thực tế, nó có thể đánh giá thấp phương sai. $\hat{\mathrm{Var}}\left(\mathbf{b} \right) = \left( X'X\right)^{-1} \hat{\sigma}^2$ $\hat{\sigma}^2 = \frac{1}{n-k} \mathbf{e'}{\mathbf{e}}$ $\hat{\mathbf{b}}$

Điểm (1) có thể không phải là vấn đề chính; mọi người thường sử dụng công cụ ước tính OLS bình thường. Nhưng điểm (2) phải được giải quyết. Phải làm sao

Bạn cần các lỗi tiêu chuẩn phù hợp không đồng nhất . Cách tiếp cận tiêu chuẩn là dựa vào các giả định mẫu lớn, kết quả tiệm cận và ước tính phương sai của bằng cách sử dụng: $\mathbf{b}$

\hat{V một r} (b) = = \frac{1}{n} {(\frac{X^{'} X}{n})}^{- 1} S {(\frac{X^{'} X}{n})}^{- 1}

$\hat{\mathrm{Var}}\left(\mathbf{b}\right)=\frac{1}{n}\left( \frac{X'X}{n} \right)^{-1} S \left( \frac{X'X}{n} \right)^{-1}$ trong đó được ước tính là .

S

$S$

S = \frac{1}{n - k} \sum_{i} (x_{i} e_{i}) {(x_{i} e_{i})}^{'}

$S = \frac{1}{n-k}\sum_i \left(\mathbf{x}_i e_i\right) \left(\mathbf{x}_i e_i \right)'$

Điều này mang lại cho các lỗi tiêu chuẩn phù hợp không đồng nhất. Chúng còn được gọi là lỗi tiêu chuẩn Huber-White, lỗi tiêu chuẩn mạnh, công cụ ước tính "sandwich", v.v ... Bất kỳ gói thống kê tiêu chuẩn cơ bản nào cũng có tùy chọn cho lỗi tiêu chuẩn mạnh. Sử dụng nó!

Một số ý kiến bổ sung (cập nhật)

Nếu độ không đồng nhất đủ lớn, ước tính OLS thông thường có thể có những vấn đề thực tế lớn. Mặc dù vẫn là một công cụ ước tính nhất quán, bạn có thể có các vấn đề mẫu nhỏ trong đó toàn bộ ước tính của bạn được điều khiển bởi một vài quan sát phương sai cao. (Đây là những gì @ seanv507 đang ám chỉ trong các bình luận). Công cụ ước tính OLS không hiệu quả ở chỗ nó mang lại nhiều trọng lượng hơn cho các quan sát phương sai cao hơn là tối ưu. Ước tính có thể cực kỳ ồn ào.

Một vấn đề với việc cố gắng khắc phục sự kém hiệu quả là bạn có thể không biết ma trận hiệp phương sai cho các thuật ngữ lỗi, do đó sử dụng một cái gì đó như GLS có thể khiến mọi thứ trở nên tồi tệ hơn nếu ước tính của ma trận hiệp phương sai lỗi là rác.

Ngoài ra, các lỗi tiêu chuẩn Huber-White tôi đưa ra ở trên có thể có vấn đề lớn trong các mẫu nhỏ. Có một tài liệu dài về chủ đề này. Ví dụ. xem Imbens và Kolesar (2016), "Lỗi tiêu chuẩn mạnh mẽ trong các mẫu nhỏ: Một số lời khuyên thiết thực."

Hướng nghiên cứu tiếp theo:

Nếu đây là tự nghiên cứu, điều thực tế tiếp theo cần xem xét là các lỗi tiêu chuẩn gộp. Những điều này đúng cho tương quan tùy ý trong các cụm.

— Matthew Gunn
nguồn

Matthew - Tôi nghĩ rằng nhiều vấn đề thực tế hơn sẽ làm rõ điểm (1). ví dụ: người ước tính sẽ không 'thiên vị' đối với những khu vực có phương sai cao hơn? - đó sẽ là một vấn đề lớn hơn nếu các khu vực đó cách xa mức trung bình gây ra đòn bẩy cao.

— seanv507

@ seanv507 không đồng nhất không thiên vị ước tính OLS. Những gì tôi nghĩ rằng bạn đang đề cập đến là không hiệu quả. Bằng cách cân bằng các quan sát phương sai cao và quan sát phương sai thấp bằng nhau, công cụ ước tính OLS có phương sai cao hơn so với lý thuyết có thể đạt được với một cái gì đó như trọng số phương sai nghịch đảo . Việc bạn có muốn sử dụng các ước tính của bạn về trong giai đoạn ước tính (tức là để ước tính ) tùy thuộc vào mức độ bạn tin rằng bạn biết .

σ_{i}^{2}

$\sigma^2_i$

b

$\mathbf{b}$

σ_{i}^{2}

$\sigma^2_i$

— Matthew Gunn

Matthew, tôi biết nó không giới thiệu sự thiên vị (tôi xin lỗi [cho bạn và OP] vì đã sử dụng thuật ngữ trong dấu ngoặc kép :) Tôi không thể nghĩ ra thuật ngữ thích hợp). Nhưng tôi đang cố gắng rút ra những ý nghĩa thực tế (và gợi ý OP muốn hiểu những điều đó) - khi nào / tại sao điểm (1) không phải là vấn đề chính. Bạn có đồng ý rằng hiệu quả là sau đó phụ thuộc nhiều hơn vào vùng có phương sai cao hơn bạn có thể mong đợi / mong muốn bằng trực giác (phù hợp với đường thẳng trực quan sẽ là mỗi vùng có trọng số bằng nhau trong khi OLS không tập trung sẽ tập trung nhiều hơn vào mức cao vùng phương sai).

b

$\mathbb b$

— seanv507

@ seanv507 hãy thêm câu trả lời của riêng bạn!

— Matthew Gunn

Thay vì sử dụng các lỗi tiêu chuẩn mạnh mẽ không đồng nhất (mà Ed Leamer trong bài báo năm 2010 "Tantalus trên đường đến Asymptopia" gọi là White-washing ), người ta cũng có thể cố gắng sửa các ước tính điểm (cùng với ước tính phương sai) cho tính không đồng nhất BÂY GIỜ. Điều này có thể đáng được đề cập trong câu trả lời của bạn.

— Richard Hardy

Vâng, câu trả lời ngắn gọn về cơ bản là mô hình của bạn sai

Để các bình phương tối thiểu thông thường là B est L inear U nbiased E kích thích, phương sai không đổi của các điều khoản lỗi được giả định.
Các giả định Gauss-Markov - nếu được thực hiện - đảm bảo với bạn rằng công cụ ước lượng bình phương nhỏ nhất cho các hệ số là không thiên vị và có phương sai tối thiểu trong số tất cả các công cụ ước tính tuyến tính không thiên vị. $\beta$

Vì vậy, trong trường hợp xảy ra sự cố không đồng nhất với việc ước tính ma trận phương sai hiệp phương sai, dẫn đến sai số chuẩn của các hệ số, từ đó dẫn đến sai số thống kê và giá trị p. Nói ngắn gọn, nếu các thuật ngữ lỗi của bạn không có phương sai không đổi thì bình phương tối thiểu thông thường không phải là cách hiệu quả nhất để ước tính. Có một cái nhìn vào câu hỏi liên quan này .

— davidski
nguồn

"Độ không đồng nhất" gây khó khăn cho việc ước tính độ lệch chuẩn thực sự của các lỗi dự báo. Điều này có thể dẫn đến khoảng tin cậy quá rộng hoặc quá hẹp (đặc biệt là chúng sẽ quá hẹp đối với các dự đoán ngoài mẫu, nếu phương sai của các lỗi tăng theo thời gian).

Ngoài ra, mô hình hồi quy có thể tập trung quá nhiều vào một tập hợp con dữ liệu.

Tài liệu tham khảo tốt: Kiểm tra các giả định của hồi quy tuyến tính

— oW_
nguồn

Hậu quả của việc có phương sai không liên tục trong các điều khoản lỗi trong hồi quy tuyến tính là gì?

Một số ý kiến ​​bổ sung (cập nhật)

Hướng nghiên cứu tiếp theo:

Một số ý kiến bổ sung (cập nhật)