Liệu một cách tiếp cận từng bước tạo ra mô hình

Khi sử dụng cách tiếp cận từng bước để chọn các biến, mô hình kết thúc có được đảm bảo có cao nhất có thể không? Nói một cách khác, cách tiếp cận từng bước đảm bảo tối ưu toàn cầu hay chỉ là tối ưu cục bộ?$R^2$

Ví dụ: nếu tôi có 10 biến để chọn và muốn xây dựng mô hình 5 biến, kết quả cuối cùng là mô hình 5 biến được xây dựng theo phương pháp tiếp cận từng bước có cao nhất trong tất cả các mô hình 5 biến có thể có đã được xây dựng?$R^2$

Lưu ý rằng câu hỏi này hoàn toàn là lý thuyết, tức là chúng tôi không tranh luận liệu giá trị cao có tối ưu hay không, liệu nó có dẫn đến vượt mức, v.v.$R^2$

Bạn không nhất thiết phải có R cao nhất vì bạn chỉ so sánh một tập hợp con của các mô hình có thể và có thể bỏ lỡ mô hình có R cao nhất sẽ bao gồm tất cả các biến .. Để có được mô hình đó, bạn cần xem xét tất cả các tập hợp con . Nhưng mô hình tốt nhất có thể không phải là mô hình có R cao nhất vì có thể bạn quá phù hợp vì nó bao gồm tất cả các biến.2 $^2$$^2$$^2$

Dưới đây là một ví dụ truy cập sử dụng dữ liệu được tạo ngẫu nhiên và R:

library(MASS)
library(leaps)

v <- matrix(0.9,11,11)
diag(v) <- 1

set.seed(15)
mydat <- mvrnorm(100, rep(0,11), v)
mydf <- as.data.frame( mydat )

fit1 <- lm( V1 ~ 1, data=mydf )
fit2 <- lm( V1 ~ ., data=mydf )

fit <- step( fit1, formula(fit2), direction='forward' )
summary(fit)$r.squared

all <- leaps(mydat[,-1], mydat[,1], method='r2')
max(all$r2[ all$size==length(coef(fit)) ])

plot( all$size, all$r2 )
points( length(coef(fit)), summary(fit)$r.squared, col='red' )

whuber muốn quá trình suy nghĩ: nó chủ yếu là một sự tương phản giữa sự tò mò và sự lười biếng. Bài viết gốc nói về việc có 10 biến dự đoán, vì vậy đó là những gì tôi đã sử dụng. Tương quan 0,9 là một số tròn đẹp với tương quan khá cao, nhưng không quá cao (nếu nó quá cao thì từng bước nhiều khả năng sẽ chỉ chọn 1 hoặc 2 dự đoán), tôi đã tìm ra cơ hội tốt nhất để tìm ra một ví dụ phản biện sẽ bao gồm một số lượng lớn của cộng sự. Một ví dụ thực tế hơn sẽ có nhiều mối tương quan khác nhau (nhưng vẫn có số lượng cộng tuyến khá lớn) và mối quan hệ được xác định giữa các yếu tố dự đoán (hoặc tập hợp con của chúng) và biến phản ứng. Cỡ mẫu 100 cũng là số 1 tôi đã thử dưới dạng số tròn đẹp (và quy tắc ngón tay cái nói rằng bạn nên có ít nhất 10 quan sát cho mỗi người dự đoán). Tôi đã thử mã ở trên với hạt 1 và 2, sau đó bọc toàn bộ trong một vòng lặp và để nó thử các hạt khác nhau theo tuần tự. Thật ra nó dừng ở hạt 3, nhưng sự khác biệt ở$R^2$ nằm ở dấu thập phân thứ 15, vì vậy tôi đoán rằng đó có khả năng là lỗi làm tròn số và khởi động lại nó với phép so sánh làm tròn đầu tiên thành 5 chữ số. Tôi đã ngạc nhiên một cách thú vị rằng nó đã tìm thấy một sự khác biệt ngay sau khi 15. Nếu nó không tìm thấy một ví dụ phản biện trong một khoảng thời gian hợp lý, tôi sẽ bắt đầu điều chỉnh mọi thứ (tương quan, kích thước mẫu, v.v.).

Nếu bạn thực sự muốn có được cao nhất, bạn phải xem (như @Michael đã nói) ở tất cả các tập con. Với rất nhiều biến số, điều đó đôi khi không khả thi và có những phương pháp để tiến gần mà không cần kiểm tra mọi tập hợp con. Một phương thức được gọi là (IIRC) "bước nhảy vọt" và nằm trong gói R nhảy vọt.$R^2$

Tuy nhiên, điều này sẽ mang lại kết quả rất thiên vị. giá trị p sẽ quá thấp, hệ số sai lệch từ 0, sai số chuẩn quá nhỏ; và tất cả theo số lượng không thể ước tính đúng.

Lựa chọn từng bước cũng có vấn đề này.

Tôi thực sự khuyên bạn nên chống lại bất kỳ phương pháp lựa chọn biến tự động nào, bởi vì điều tồi tệ nhất về chúng là chúng ngăn bạn suy nghĩ; hoặc, nói cách khác, một nhà phân tích dữ liệu sử dụng các phương thức tự động đang nói với ông chủ của mình trả cho anh ta / cô ta ít hơn.

Nếu bạn phải sử dụng một phương pháp tự động, thì bạn nên tách dữ liệu của mình thành các tập huấn luyện và kiểm tra, hoặc có thể là đào tạo, xác nhận và các bộ cuối cùng.