Dấu lật khi thêm một biến trong hồi quy và với cường độ lớn hơn nhiều

9

Thiết lập cơ bản:

mô hình hồi quy: trong đó C là vectơ của các biến điều khiển. $y = \text{constant} +\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4+\alpha C+\epsilon$

Tôi quan tâm đến và hy vọng và là âm tính. Tuy nhiên, có một vấn đề về đa cộng đồng trong mô hình, hệ số tương quan được đưa ra bởi, Corr ( , 0.9345, Corr ( , 0.1765, Corr ( , 0.3019. $\beta$ $\beta_1$ $\beta_2$ $x_1$ $x_2)=$ $x_1$ $x_3)=$ $x_2$ $x_3)=$

Vì vậy, và có mối tương quan cao và hầu như chúng sẽ cung cấp cùng một thông tin. Tôi chạy ba hồi quy: $x_1$ $x_2$

loại trừ biến ; 2. loại trừ biến ; 3. mô hình ban đầu với cả và . $x_1$ $x_2$ $x_1$ $x_2$

Kết quả:
Đối với hồi quy 1 và 2, nó cung cấp dấu hiệu mong đợi cho và tương ứng và với cường độ tương tự. Và và có ý nghĩa ở mức 10% trong cả hai mô hình sau khi tôi thực hiện sửa lỗi theo lỗi tiêu chuẩn. là tích cực nhưng không đáng kể trong cả hai mô hình. $\beta_2$ $\beta_1$ $\beta_2$ $\beta_1$ $\beta_3$

Nhưng đối với 3, có dấu hiệu mong đợi, nhưng dấu hiệu cho là dương với cường độ gấp đôi so với về giá trị tuyệt đối. Và cả và đều không đáng kể. Hơn nữa, cường độ cho giảm gần một nửa so với hồi quy 1 và 2. $\beta_1$ $\beta_2$ $\beta_1$ $\beta_1$ $\beta_2$ $\beta_3$

Câu hỏi của tôi là:

Tại sao trong 3, dấu hiệu của trở nên tích cực và lớn hơn nhiều so với về giá trị tuyệt đối? Có bất kỳ lý do thống kê nào cho thấy có thể lật dấu và có cường độ lớn không? Hoặc có phải vì mô hình 1 và 2 gặp phải vấn đề biến bị bỏ qua mà lạm phát cung cấp có ảnh hưởng tích cực đến y? Nhưng sau đó, trong mô hình hồi quy 1 và 2, cả và phải dương thay vì âm, vì tổng hiệu ứng của và trong mô hình hồi quy 3 là dương. $\beta_2$ $\beta_1$ $\beta_2$ $\beta_3$ $x_2$ $\beta_2$ $\beta_1$ $x_1$ $x_2$

regression multicollinearity

— ting
nguồn

8

Hãy nghĩ về ví dụ này:

Thu thập dữ liệu dựa trên các đồng xu trong túi của mọi người, biến y / phản hồi là tổng giá trị của các đồng tiền, biến x1 là tổng số xu và x2 là số xu không phải là quý (hoặc bất kỳ giá trị nào lớn nhất của các đồng tiền phổ biến là dành cho địa phương).

Dễ dàng thấy rằng hồi quy với x1 hoặc x2 sẽ tạo ra độ dốc dương, nhưng khi đưa vào cả hai mô hình, độ dốc trên x2 sẽ bị âm do tăng số lượng đồng xu nhỏ hơn mà không tăng tổng số đồng xu có nghĩa là thay thế đồng tiền lớn với những đồng tiền nhỏ hơn và làm giảm giá trị tổng thể (y).

Điều tương tự có thể xảy ra bất cứ khi nào bạn có các biến x tương quan, các dấu hiệu có thể dễ dàng đối nghịch giữa khi một thuật ngữ tự nó và sự hiện diện của người khác.

— Greg tuyết
nguồn

3

Bạn đã trả lời câu hỏi của riêng bạn - có sự cộng tác.

Một chút giải thích: và rất hợp nhau. Nhưng khi bạn nhập cả hai vào hồi quy, hồi quy đang cố kiểm soát ảnh hưởng của các biến khác. Nói cách khác, giữ không đổi, những thay đổi trong sẽ làm gì với . Nhưng thực tế là chúng có liên quan rất cao có nghĩa là câu hỏi này thật ngớ ngẩn, và những điều kỳ lạ có thể xảy ra. $x_1$ $x_2$ $x_1$ $x_2$ $y$

— Peter Flom
nguồn

Cảm ơn rất nhiều. Nhưng vì lý thuyết đa bạch cầu chỉ tăng phương sai nhưng không ảnh hưởng đến khả năng dự đoán tổng thể của các biến tương quan cao, nên tôi nghĩ trong mô hình 3 sẽ cung cấp kết quả tương tự như trong mô hình 1 hoặc trong mô hình 2, vì tương quan cặp của x1 x2 với x3 không cao (thực sự đây là phần khó hiểu của tôi). Nhưng vì mối tương quan có thể thực sự lộn xộn và trong thực tế, tôi không nên mong đợi điều này vì mô hình của tôi chỉ là một xấp xỉ của DGP và mối tương quan với các biến khác.

β_{1} * x 1 + β_{2} * x 2

$\beta_1*x1+\beta_2*x2$

β_{2} * x 2

$\beta_2*x2$

β_{1} * x 1

$\beta_1*x1$

— ting

Nếu bạn muốn học toán này, tôi rất khuyến khích sách của David Belsley.

— Peter Flom

Tuyệt vời, Cảm ơn bạn rất nhiều !!! Chỉ cần yêu cầu những cuốn sách từ thư viện :)

— ting

2

Tại sao trong 3, dấu của β2 trở nên dương và lớn hơn nhiều so với 1 về giá trị tuyệt đối? Có bất kỳ lý do thống kê rằng β2 có thể lật dấu và có cường độ lớn?

Câu trả lời đơn giản là không có lý do sâu sắc.

Cách suy nghĩ là khi đa hướng tiếp cận hoàn hảo, các giá trị cụ thể mà bạn nhận được từ phụ kiện sẽ ngày càng phụ thuộc nhiều hơn vào các chi tiết nhỏ hơn và nhỏ hơn của dữ liệu. Nếu bạn đã lấy mẫu cùng một lượng dữ liệu từ cùng một phân phối cơ bản và sau đó phù hợp, bạn có thể thu được các giá trị được trang bị hoàn toàn khác nhau.

— củ cải
nguồn