Một số hậu quả tiềm năng của việc thêm kiểm soát rác trong hồi quy của bạn là gì?

Giả sử tôi đang chạy hồi quy trong đó biến phụ thuộc của tôi là giết người và biến quan tâm của tôi là truy cập vào các trò chơi video bạo lực. Giả sử tôi cũng ném vào bồn rửa trong bếp liên quan đến các biến kiểm soát của mình-- Tôi có 38 điều khiển nhân khẩu học, 30 điều khiển tội phạm có thể có hoặc không có liên quan, v.v. Một số điều khiển này thậm chí có thể chứa dữ liệu mờ hoặc xấu (lỗi đánh máy, ô trống, v.v.). Một số hậu quả tiêu cực của các hồi quy cẩu thả là gì?

Tôi được một sinh viên tốt nghiệp ngành Thống kê cho biết rằng các điều khiển này sẽ không ảnh hưởng đến giá trị p giữa biến phụ thuộc và biến quan tâm, ngay cả khi các hệ số trên các điều khiển sẽ vô nghĩa. Nhưng nếu điều này là đúng, tại sao tất cả các học giả chỉ ném vào bồn rửa trong nhà bếp trong hồi quy của họ? Có thể các giá trị p trở nên nhỏ hơn thông qua việc bổ sung các điều khiển rác không?

regression generalized-linear-model multicollinearity

— Rau mùi tây
nguồn

Đây là một máy bơm trực giác: nếu bạn có sẵn mẫu nhưng thêm nhiều hơn dự đoán bồn rửa nhà bếp (nhân tiện, tôi thích thuật ngữ này), thì hồi quy của bạn sẽ có và hệ số cho các trò chơi video bạo lực có thể là bất cứ điều gì . Bạn đã thêm quá nhiều tính năng, dẫn đến kết quả quá mức và vô nghĩa.

n

$n$

n

$n$

R^{2} = 1

$R^2=1$

— amip

Chúng ta có thể viết công thức cho lỗi tiêu chuẩn của hệ số hồi quy là $\hat \beta_j$

\sqrt{\frac{\sum_{i = 1}^{n} {\hat{u}}^{2}}{(n - k - 1) \sum_{i = 1}^{n} (x_{i j} - {\bar{x}}_{j})^{2} (1 - R_{j}^{2})}}

$\sqrt{\frac{\sum_{i=1}^n \hat u^2}{(n-k-1)\sum_{i=1}^n(x_{ij}-\bar x_j)^2(1-R^2_j)}}$

Ở đâu $\hat u^2$ là phần dư hồi quy, $n$ là số lượng quan sát, $k$ là số lượng hồi quy, và $R^2_j$ là $R^2$ từ hồi quy của $x_j$ trên tất cả các biến độc lập khác.

Nếu các biến bổ sung không có ảnh hưởng đến biến phụ thuộc, các phần duy nhất của công thức sẽ thay đổi sẽ là $k$ và $R^2_j$ , cả hai sẽ làm tăng lỗi tiêu chuẩn, dẫn đến giá trị p lớn hơn.

— Michael
nguồn