Mô hình tuyến tính cổ điển - lựa chọn mô hình

Tôi có một mô hình tuyến tính cổ điển, với 5 biến hồi quy có thể. Chúng không tương quan với nhau và có mối tương quan khá thấp với phản ứng. Tôi đã đến một mô hình trong đó 3 trong số các biến hồi quy có hệ số đáng kể cho thống kê t của chúng (p <0,05). Việc thêm một hoặc cả hai biến còn lại sẽ cho giá trị p> 0,05 cho thống kê t, cho các biến được thêm. Điều này khiến tôi tin rằng mô hình 3 biến là "tốt nhất".

Tuy nhiên, sử dụng lệnh anova (a, b) trong R trong đó a là mô hình 3 biến và b là mô hình đầy đủ, giá trị p cho thống kê F là <0,05, cho tôi biết mô hình đầy đủ hơn 3 biến mô hình. Làm thế nào tôi có thể hòa giải những mâu thuẫn rõ ràng này?

Cảm ơn PS Chỉnh sửa: Một số nền tảng hơn nữa. Đây là bài tập về nhà nên tôi sẽ không đăng chi tiết, nhưng chúng tôi không cung cấp chi tiết về những gì các biến hồi quy đại diện - chúng chỉ được đánh số từ 1 đến 5. Chúng tôi được yêu cầu "rút ra một mô hình phù hợp, đưa ra lời biện minh".

Vấn đề bắt đầu khi bạn tìm kiếm một mô hình rút gọn và sử dụng dữ liệu thay vì kiến ​​thức chủ đề để chọn các yếu tố dự đoán. Lựa chọn biến theo từng bước mà không có shinkage đồng thời để xử phạt cho lựa chọn biến, mặc dù thường được sử dụng, là một cách tiếp cận không hợp lệ. Phần lớn đã được viết về điều này. Không có lý do để tin rằng mô hình 3 biến là "tốt nhất" và không có lý do gì để không sử dụng danh sách ban đầu của các dự đoán được chỉ định trước. Giá trị P được tính sau khi sử dụng giá trị P để chọn biến không hợp lệ. Điều này đã được gọi là "nhúng đôi" trong tài liệu hình ảnh chức năng.

Đây là một sự tương tự. Giả sử một người quan tâm đến việc so sánh 6 phương pháp điều trị, nhưng sử dụng các xét nghiệm cặp đôi để chọn phương pháp điều trị nào "khác nhau", dẫn đến giảm 4 phương pháp điều trị. Sau đó, nhà phân tích kiểm tra sự khác biệt tổng thể với 3 bậc tự do. Thử nghiệm F này sẽ có lỗi loại I tăng cao. Thử nghiệm F ban đầu với 5 df là khá hợp lệ.

Xem http://www.stata.com/support/faqs/stat/stepwise.html và hồi quy từng bước để biết thêm thông tin.

Một câu trả lời sẽ là "điều này không thể được thực hiện nếu không có kiến ​​thức về chủ đề". Thật không may, điều đó có thể sẽ giúp bạn đạt điểm F trong bài tập của mình. Trừ khi tôi là giáo sư của bạn. Sau đó, nó sẽ nhận được một A.

$R^2$

Sau đó, có

tất cả 5 yếu tố dự đoán được tạo ra bởi các mô phỏng độc lập từ một phân phối bình thường.

Chà, nếu bạn BIẾT điều này (nghĩa là người hướng dẫn của bạn đã nói với bạn) và nếu "độc lập", bạn có nghĩa là "không liên quan đến DV" thì bạn biết rằng mô hình tốt nhất là mô hình không có dự đoán và trực giác của bạn là chính xác.

Bạn có thể thử làm xác nhận chéo. Chọn một tập hợp con của mẫu của bạn, tìm mô hình "tốt nhất" cho tập hợp con đó bằng các thử nghiệm F hoặc t, sau đó áp dụng nó cho tập dữ liệu đầy đủ (xác thực chéo đầy đủ có thể phức tạp hơn thế này, nhưng đây sẽ là một khởi đầu tốt). Điều này giúp giảm bớt một số vấn đề kiểm tra từng bước.

Xem Lưu ý về sàng lọc phương trình hồi quy của David Freedman để biết mô phỏng nhỏ dễ thương về ý tưởng này.

Tôi thực sự thích phương thức được sử dụng trong caretgói: loại bỏ tính năng đệ quy. Bạn có thể đọc thêm về nó trong họa tiết , nhưng đây là quá trình cơ bản:

Ý tưởng cơ bản là sử dụng một tiêu chí (chẳng hạn như thống kê t) để loại bỏ các biến không quan trọng và xem cách cải thiện độ chính xác dự đoán của mô hình. Bạn bọc toàn bộ mọi thứ trong một vòng lặp lấy mẫu lại, chẳng hạn như xác nhận chéo. Dưới đây là một ví dụ, sử dụng mô hình tuyến tính để xếp hạng các biến theo cách tương tự như những gì bạn đã mô tả:

#Setup
set.seed(1)
p1 <- rnorm(50)
p2 <- rnorm(50)
p3 <- rnorm(50)
p4 <- rnorm(50)
p5 <- rnorm(50)
y <- 4*rnorm(50)+p1+p2-p5

#Select Variables
require(caret)
X <- data.frame(p1,p2,p3,p4,p5)
RFE <- rfe(X,y, sizes = seq(1,5), rfeControl = rfeControl(
                    functions = lmFuncs,
                    method = "repeatedcv")
                )
RFE
plot(RFE)

#Fit linear model and compare
fmla <- as.formula(paste("y ~ ", paste(RFE$optVariables, collapse= "+")))
fullmodel <- lm(y~p1+p2+p3+p4+p5,data.frame(y,p1,p2,p3,p4,p5))
reducedmodel <- lm(fmla,data.frame(y,p1,p2,p3,p4,p5))
summary(fullmodel)
summary(reducedmodel)

Trong ví dụ này, đại số phát hiện ra rằng có 3 biến "quan trọng", nhưng nó chỉ nhận được 2 trong số đó.