Sai lệch biến bị bỏ qua trong hồi quy logistic so với sai lệch biến bị bỏ qua trong hồi quy bình phương nhỏ nhất bình thường

Tôi có một câu hỏi về sự thiên vị biến bị bỏ qua trong hồi quy logistic và tuyến tính.

Nói rằng tôi bỏ qua một số biến từ mô hình hồi quy tuyến tính. Giả sử rằng các biến bị bỏ qua không tương thích với các biến tôi đưa vào mô hình của mình. Các biến bị bỏ qua không làm sai lệch các hệ số trong mô hình của tôi.

Nhưng trong hồi quy logistic, tôi mới biết rằng điều này không đúng. Các biến bị bỏ qua sẽ thiên vị các hệ số trên các biến được bao gồm ngay cả khi các biến bị bỏ qua không tương thích với các biến được bao gồm. Tôi đã tìm thấy một bài báo về chủ đề này, nhưng tôi không thể tạo ra đầu hoặc đuôi của nó.

Đây là bài báo và một số slide powerpoint.

Sự thiên vị, rõ ràng, luôn luôn hướng về không. Bất cứ ai có thể giải thích làm thế nào điều này làm việc?

— Nhầm lẫnEconometricsUndergrad
nguồn

Bạn có quen thuộc với cách mô hình hồi quy logistic xuất hiện từ mô hình hồi quy tuyến tính "biến tiềm ẩn" tiềm ẩn không?

— Alecos Papadopoulos

@AlecosPapadopoulos Tôi không phải là một. Món gì vậy?

— Alexis

Có những bài viết khác thảo luận về điều này, nhưng bài viết bạn liên kết là dễ nhất tôi biết. Vì vậy, tôi không nghĩ rằng tôi có thể cải thiện nó.

— Maarten Buis

Kính gửi ông Papadopoulos: Tôi đã đọc về ý tưởng biến tiềm ẩn. Tại sao bạn hỏi

— ConfuseEconometricsUndergrad

@ Alexis Xem ví dụ: bài đăng này, stats.stackexchange.com/questions/80611/ , và bài viết trên wikipedia, en.wikipedia.org/wiki/ . Cách tiếp cận này cũng làm rõ rằng đó là giả định mà chúng tôi đưa ra về thuật ngữ lỗi của mô hình cơ bản xác định mô hình nào chúng tôi sẽ thu được ở cấp Xác suất. Đối với một ví dụ khác, nếu chúng tôi giả sử rằng lỗi cơ bản tuân theo đồng phục, chúng tôi có được Mô hình Xác suất tuyến tính, xem, stats.stackexchange.com/questions/81789

— Alecos Papadopoulos

Trường hợp "sai lệch suy giảm" có thể được trình bày rõ ràng hơn nếu chúng ta kiểm tra mô hình "probit" - nhưng kết quả cũng mang đến hồi quy logistic.

Bên dưới các mô hình xác suất có điều kiện (Logistic (logit), "probit" và "xác suất tuyến tính"), chúng ta có thể định nghĩa mô hình hồi quy tuyến tính tiềm ẩn (không quan sát được):

y^{*} = X β + u

$y^* = X\beta + u$

Trong đó là một biến không quan sát được liên tục (và là ma trận hồi quy). Thuật ngữ lỗi được giả định là độc lập với các biến hồi quy và tuân theo phân phối có mật độ đối xứng quanh 0 và trong trường hợp của chúng tôi, phân phối chuẩn . $y^*$ $X$ $F_U(u)= \Phi(u)$

Chúng tôi giả định rằng những gì chúng tôi quan sát, tức là biến nhị phân , là một hàm Chỉ thị của : $y$ $y^*$

y = 1 if y^{*} > 0, y = 0 if y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

Sau đó, chúng tôi hỏi "xác suất mà sẽ lấy giá trị cho các biến hồi quy là bao nhiêu?" (tức là chúng ta đang xem xét một xác suất có điều kiện). Đây là $y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

đẳng thức cuối cùng do tính chất "phản xạ" của hàm phân phối tích lũy tiêu chuẩn, xuất phát từ tính đối xứng của hàm mật độ quanh 0. Lưu ý rằng mặc dù chúng tôi đã giả sử rằng độc lập với , nhưng điều hòa trên là cần thiết để coi số lượng là không ngẫu nhiên. $u$ $X$ $X$ $X\beta$

Nếu chúng tôi giả sử rằng , thì chúng tôi có được mô hình lý thuyết $X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

Bây giờ, độc lập với và bị loại trừ khỏi đặc tả của hồi quy cơ bản. Vì vậy, chúng tôi chỉ định $X_2$ $X_1$

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$ Giả sử thêm rằng cũng là biến ngẫu nhiên bình thường . Nhưng điều này có nghĩa là

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

do sự đóng cửa dưới sự bổ sung của phân phối bình thường (và giả định độc lập). Áp dụng logic tương tự như trước đây, ở đây chúng ta có

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

Chuẩn hóa biến chúng ta có $\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

và người ta có thể so sánh các mô hình và . $(1)$ $(2)$

Biểu thức lý thuyết ở trên, cho chúng ta biết nơi ước tính khả năng tối đa của chúng ta về sẽ hội tụ, vì nó vẫn là một công cụ ước lượng nhất quán, theo nghĩa là nó sẽ hội tụ đến đại lượng lý thuyết thực sự tồn tại trong mô hình (và tất nhiên, không phải trong ý nghĩa rằng nó sẽ tìm thấy "sự thật" trong mọi trường hợp): $b_1$

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

đó là kết quả "thiên về không".

Chúng tôi đã sử dụng mô hình probit chứ không phải logit (hồi quy logistic), bởi vì chỉ theo quy tắc, chúng tôi mới có thể rút ra được phân phối của . Phân phối logistic không được đóng dưới bổ sung. Điều này có nghĩa là nếu chúng ta bỏ qua một biến có liên quan trong hồi quy logistic, chúng ta cũng tạo ra lỗi chính tả phân phối, vì thuật ngữ lỗi (hiện bao gồm biến bị bỏ qua) không còn tuân theo phân phối logistic. Nhưng điều này không thay đổi kết quả thiên vị (xem chú thích 6 trong bài báo được liên kết bởi OP). $\epsilon$

— Alecos Papadopoulos
nguồn