Có thể thực hiện hồi quy trong đó bạn có một biến tính năng không xác định / không thể biết được không?

Có thể thực hiện hồi quy trong đó bạn có một biến tính năng không xác định / không thể biết được không?

Giả sử tôi có nhưng tôi không / không thể đo giá trị của biến tính năng . Tôi vẫn có thể thực hiện hồi quy để xác định các hệ số chứ?$y_n = a_0 + a_1 x_1 + a_2 x_2 + a_3 x_3$$x_3$$a_i$

Nếu tôi có một số kiến ​​thức về số liệu thống kê về cách được phân phối thì sao? Nếu tôi biết rằng được rút ra từ phân phối Gaussian , với biết, điều này có cho phép tôi thực hiện hồi quy để xác định các giá trị của không?$x_3$$x_3$$\mathcal{N}(0, \sigma^2)$$\sigma$$a_i$

Công thức hoàn chỉnh cho mô hình tuyến tính là (ở dạng ma trận gần đúng)

Vì vậy, chúng tôi có nhiều hệ số cho các biến mà chúng tôi đang kiểm soát và sau đó chúng tôi có , đó là mọi thứ khác mà chúng tôi không giải thích với các biến được bao gồm của chúng tôi.$\epsilon$

Trong thuật ngữ lỗi này thuộc về tất cả các biến mà chúng tôi không xem xét, vì chúng tôi không có thông tin cho chúng hoặc vì đơn giản là chúng tôi không biết về chúng (độ lệch ngẫu nhiên).

Vì vậy, không có cách nào để bạn biết những gì trong thuật ngữ này thuộc về những gì chưa biết.

Làm thế nào về nếu tôi có một số kiến ​​thức về số liệu thống kê về cách x3 được phân phối?

Nếu bạn làm hồi quy của $y$ trên $x_1$ và $x_2$, sau đó nếu bạn sẵn sàng để đoán $x_3$ tương quan với từng yếu tố này, bạn có thể tính toán những gì những dự đoán này sẽ đòi hỏi về cách các hệ số bạn ước tính sẽ thay đổi nếu bạn có thể quan sát $x_3$ và chạy hồi quy đầy đủ.

Giả sử ví dụ rằng $x_3$ không tương quan với $x_1$. Sau đó

$\alpha_{2, \text{your regression}} =\alpha_{2, \text{full regression}} + \alpha_3 \cdot \frac{cov(x_3, x_2)}{var(x_2)}$

Vì vậy nếu $x_3$ có khả năng chỉ tương quan yếu với $y$ hoặc là $x_1$ và $x_2$không có nhiều thay đổi Và nếu có, bạn có thể sử dụng các công thức sai lệch biến thiên này để dự đoán mọi thứ sẽ thay đổi như thế nào.

Luôn luôn có thể ... nhưng ước tính của bạn sẽ bị sai lệch trong nhiều trường hợp. Trường hợp thuận lợi nhất xảy ra:
(a) Khi$x_{3n}$ không tương quan với các biến hồi quy khác, trong trường hợp này, hồi quy $y_n$ trên $(\iota,x_{1},x_{2})$ và bạn có ước tính không thiên vị về $a_0,a_1,a_2$(Định lý Frish-Waugh-Lovell)
(b) Nếu ngoài (a) bạn biết$\sigma$ và $x_3 \sim \mathcal{N}(0, \sigma^2)$, sau đó bạn thậm chí có thể xác định $a_3$: vẽ tranh $N$ giá trị iid cho $x_{3n} \sim \mathcal{N}(0, \sigma^2)$ và hồi quy $y_n$ trên $(\iota,x_{1},x_{2},x_{3})$.