Liệu thứ tự biến có quan trọng trong hồi quy tuyến tính

Tôi đang điều tra sự tương tác giữa hai biến ( và ). Có rất nhiều mối tương quan tuyến tính giữa các biến này với . Từ bản chất của vấn đề, tôi không thể nói bất cứ điều gì về nguyên nhân (cho dù gây ra hay ngược lại). Tôi muốn nghiên cứu các sai lệch từ đường hồi quy, để phát hiện các ngoại lệ. Để thực hiện điều này, tôi có thể xây dựng hồi quy tuyến tính dưới dạng hàm của hoặc theo cách khác. Sự lựa chọn của tôi về thứ tự biến có thể ảnh hưởng đến kết quả của tôi?x 2 r > 0,9 x 1 x 2 x 1 x $x_1$$x_2$$r>0.9$$x_1$$x_2$$x_1$$x_2$

Nó chắc chắn có thể (thực ra, nó thậm chí còn quan trọng đối với các giả định trên dữ liệu của bạn - bạn chỉ đưa ra các giả định về việc phân phối kết quả được đưa ra cho hiệp phương sai). Trong ánh sáng này, bạn có thể tìm kiếm một thuật ngữ như "phương sai dự đoán ngược". Dù bằng cách nào, hồi quy tuyến tính không nói gì về quan hệ nhân quả! Tốt nhất, bạn có thể nói điều gì đó về quan hệ nhân quả thông qua thiết kế cẩn thận.

Để làm cho trường hợp đối xứng, người ta có thể hồi quy chênh lệch giữa hai biến ( ) so với giá trị trung bình của chúng.$\Delta x$

Hồi quy tiêu chuẩn giảm thiểu khoảng cách dọc giữa các điểm và đường thẳng, do đó, việc chuyển đổi 2 biến giờ sẽ giảm thiểu khoảng cách theo chiều ngang (được đưa ra cùng một biểu đồ phân tán). Một tùy chọn khác (đi theo một số tên) là để giảm thiểu khoảng cách vuông góc, điều này có thể được thực hiện bằng cách sử dụng các thành phần nguyên tắc.

Đây là một số mã R cho thấy sự khác biệt:

library(MASS)

tmp <- mvrnorm(100, c(0,0), rbind( c(1,.9),c(.9,1)) )

plot(tmp, asp=1)

fit1 <- lm(tmp[,1] ~ tmp[,2])  # horizontal residuals
segments( tmp[,1], tmp[,2], fitted(fit1),tmp[,2], col='blue' )
o <- order(tmp[,2])
lines( fitted(fit1)[o], tmp[o,2], col='blue' )

fit2 <- lm(tmp[,2] ~ tmp[,1])  # vertical residuals
segments( tmp[,1], tmp[,2], tmp[,1], fitted(fit2), col='green' )
o <- order(tmp[,1])
lines( tmp[o,1], fitted(fit2)[o], col='green' )

fit3 <- prcomp(tmp)
b <- -fit3$rotation[1,2]/fit3$rotation[2,2]
a <- fit3$center[2] - b*fit3$center[1]
abline(a,b, col='red')
segments(tmp[,1], tmp[,2], tmp[,1]-fit3$x[,2]*fit3$rotation[1,2], tmp[,2]-fit3$x[,2]*fit3$rotation[2,2], col='red')

legend('bottomright', legend=c('Horizontal','Vertical','Perpendicular'), lty=1, col=c('blue','green','red'))

Để tìm các ngoại lệ, bạn chỉ có thể vẽ kết quả phân tích các thành phần nguyên tắc.

Bạn cũng có thể muốn xem xét:

Bland và Altman (1986), Phương pháp thống kê để đánh giá sự thỏa thuận giữa hai phương pháp đo lường bệnh lý. Lancet, trang 307-310

Các biến x1 và x2 của bạn là cộng tuyến. Với sự hiện diện của đa cộng đồng, các ước tính tham số của bạn vẫn không thiên vị, nhưng phương sai của chúng là lớn, nghĩa là suy luận của bạn về tầm quan trọng của các ước tính tham số là không hợp lệ và dự đoán của bạn sẽ có khoảng tin cậy lớn.

Việc giải thích các ước tính tham số cũng khó khăn. Trong khung hồi quy tuyến tính, ước tính tham số trên x1 là thay đổi trong Y đối với thay đổi đơn vị trong x1 với mọi biến ngoại sinh khác trong mô hình được giữ không đổi. Trong trường hợp của bạn, x1 và x2 có mối tương quan cao và bạn không thể giữ x2 không đổi khi x1 thay đổi.