Sự khác biệt cơ bản giữa hai mô hình hồi quy này là gì?

Giả sử tôi có một phản ứng bivariate với mối tương quan đáng kể. Tôi đang cố gắng so sánh hai cách để mô hình hóa các kết quả này. Một cách là mô hình hóa sự khác biệt giữa hai kết quả: Một cách khác là sử dụng hoặc mô hình hóa chúng:

(y_{i 2} - y_{i 1} = β_{0} + X^{'} β)

$(y_{i2}-y_{i1}=\beta_0+X'\beta)$ glsgee

(y_{i j} = β_{0} + time + X^{'} β)

$(y_{ij}=\beta_0+\text{time}+X'\beta)$

Đây là một ví dụ foo:

#create foo data frame

require(mvtnorm)
require(reshape)
set.seed(123456)
sigma <- matrix(c(4,2,2,3), ncol=2)
y <- rmvnorm(n=500, mean=c(1,2), sigma=sigma)
cor(y)
x1<-rnorm(500)
x2<-rbinom(500,1,0.4)
df.wide<-data.frame(id=seq(1,500,1),y1=y[,1],y2=y[,2],x1,x2)
df.long<-reshape(df.wide,idvar="id",varying=list(2:3),v.names="y",direction="long")
df.long<-df.long[order(df.long$id),]
    df.wide$diff_y<-df.wide$y2-df.wide$y1


#regressions
fit1<-lm(diff_y~x1+x2,data=df.wide)
fit2<-lm(y~time+x1+x2,data=df.long)
fit3<-gls(y~time+x1+x2,data=df.long, correlation = corAR1(form = ~ 1 | time))

Sự khác biệt cơ bản giữa fit1và là fit2gì? Và giữa fit2và fit3, cho dù họ rất gần với giá trị và ước tính? $p$

r regression model-selection

— David Z
nguồn

Sự khác biệt giữa fit1 và fit3 đôi khi được gọi là nghịch lý của Chúa. Xem ở đây để biết một số thảo luận (về lý do tại sao các ước tính không thay đổi giữa các mô hình) và tham chiếu đến bài viết của Paul Allison, stats.stackexchange.com/a/15759/1036 . Một tài liệu tham khảo khác là

Holland, Paul & Donald Rubin. 1983. On Lord’s Paradox. In Principles of modern psychological measurement: A festchrift for Frederic M. Lord edited by Wainer, Howard & Samuel Messick pgs:3-25. Lawrence Erlbaum Associates. Hillsdale, NJ.

— Andy W

Đầu tiên, tôi sẽ giới thiệu một mô hình thứ tư cho cuộc thảo luận trong câu trả lời của tôi:

phù hợp1,5 <- lm (y_2 ~ x_1 + x_2 + y_1)

Phần 0
Sự khác biệt giữa fit1 và fit1.5 được tóm tắt tốt nhất là sự khác biệt giữa chênh lệch ràng buộc so với chênh lệch tối ưu.

Tôi sẽ sử dụng một ví dụ đơn giản hơn để giải thích điều này hơn ví dụ được cung cấp ở trên. Hãy bắt đầu với fit1.5. Phiên bản đơn giản hơn của mô hình sẽ là Tất nhiên, khi chúng tôi có được ước tính OLS, nó sẽ tìm thấy lựa chọn "tối ưu" cho . Và, mặc dù có vẻ lạ khi viết như vậy, chúng ta có thể viết lại công thức thành Chúng ta có thể coi đây là sự khác biệt "tối ưu" giữa hai biến .

y_{2} = b_{0} + b_{1} \cdot x + b_{2} \cdot y_{1}

$y_2 = b_0 + b_1·x + b_2·y_1$

b_{2}

$b_2$

y_{2} - b_{2} \cdot y_{1} = b_{0} + b_{1} \cdot x

$y_2 - b_2·y_1 = b_0 + b_1·x$

y

$y$

Bây giờ, nếu chúng tôi quyết định ràng buộc , thì công thức / mô hình trở thành chỉ là sự khác biệt (bị ràng buộc). $b_2=1$

y_{2} - y_{1} = b_{0} + b_{1} \cdot x

$y_2 - y_1 = b_0 + b_1·x$

Lưu ý, trong phần trình diễn ở trên, nếu bạn để là biến nhị phân và là thử nghiệm trước và ghép nối điểm kiểm tra bài, thì mô hình khác biệt bị ràng buộc sẽ chỉ là các mẫu độc lập -test để đạt được điểm số , trong khi mô hình khác biệt tối ưu sẽ là thử nghiệm ANCOVA với điểm số trước thử nghiệm được sử dụng làm đồng biến. $x$ $y_1$ $y_2$ $t$

Phần 1
Mô hình cho fit2 tốt nhất có thể được nghĩ theo kiểu tương tự như cách tiếp cận khác biệt được sử dụng ở trên. Mặc dù đây là một sự đơn giản hóa (vì tôi cố tình bỏ qua các điều khoản lỗi), mô hình có thể được trình bày dưới dạng trong đó cho các giá trị và cho các giá trị . Đây là sự đơn giản hóa ... điều này chúng ta hãy viết Viết theo cách khác, . Trong khi đó mô hình fit1.5 có giá trị để tạo sự khác biệt tối ưu cho phân tích OLS, ở đây

y = b_{0} + b_{1} \cdot x + b_{2} \cdot t

$y = b_0 + b_1 · x + b_2 · t$

t = 0

$t=0$

y_{1}

$y_1$

t = 1

$t=1$

y_{2}

$y_2$

\begin{aligned} y_{1} & = b_{0} + b_{1} \cdot x \\ y_{2} & = b_{0} + b_{1} \cdot x + b_{2} \end{aligned}

$\begin{align}y_1 & = b_0 + b_1 · x \\ y_2 & = b_0 + b_1 · x + b_2\end{align}$

y_{2} - y_{1} = b_{2}

$y_2 - y_1 = b_2$

b_{2}

$b_2$

b_{2}

$b_2$ về cơ bản chỉ là sự khác biệt trung bình giữa các giá trị (sau khi kiểm soát các hiệp phương sai khác).

y

$y$

Phần 2
Vì vậy, sự khác biệt giữa các mô hình fit2 và fit3 ... thực sự, rất ít. Mô hình fit3 tính đến sự tương quan trong các điều khoản lỗi, nhưng điều này chỉ thay đổi quá trình ước tính, và do đó, sự khác biệt giữa hai đầu ra mô hình sẽ là tối thiểu (ngoài thực tế là fit3 ước tính hệ số tự phát).

Phần 2.5
Và tôi sẽ đưa thêm một mô hình nữa vào cuộc thảo luận này

fit4 <- lmer (y ~ time + x1 + x2 + (1 | id), data = df.long)

Mô hình hiệu ứng hỗn hợp này thực hiện một phiên bản hơi khác của cách tiếp cận tự động. Nếu chúng ta bao gồm hệ số thời gian trong các hiệu ứng ngẫu nhiên, thì điều này sẽ tương đương với việc tính toán sự khác biệt giữa các cho mỗi đối tượng. (Nhưng, điều này sẽ không hoạt động ... và mô hình sẽ không chạy.) $y$

— Gregg H
nguồn