Hồi quy từng bước làm thế nào

Tôi đã sử dụng mã R sau đây để phù hợp với mô hình probit:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Tôi muốn biết những gì làm stepwisevà backward/forwardlàm chính xác và làm thế nào để chọn các biến?

Nguyên tắc lựa chọn từng bước

1. Bạn phù hợp với một mô hình với tất cả các biến bạn muốn. Đây là mô hình tốt nhất hiện tại của bạn.
2. Bạn loại bỏ một biến (hoặc thêm một, trong số một biến không được sử dụng trong mô hình tốt nhất hiện tại) và với mỗi biến, bạn phù hợp với mô hình mới và bạn so sánh chúng với từng biến và với biến ban đầu, theo BIC (hoặc bất kỳ tiêu chí khác, như AIC ). Bạn nhận được một "mô hình tốt nhất hiện tại".

Bạn lặp lại 2. cho đến khi không giảm BIC. Bạn chỉ có tối thiểu BIC cục bộ, điều đó có nghĩa là bạn có thể không có được mô hình tốt nhất trong số tất cả các lựa chọn tập hợp con của các biến. Nhưng dù sao, thường có quá nhiều người trong số họ, vì vậy đây là một cách để tối ưu hóa một chút, mà không cần quá nhiều công việc.

Xem thêm Hồi quy từng bước và lựa chọn Mô hình trên Wikipedia.

Hồi quy từng bước về cơ bản phù hợp với mô hình hồi quy bằng cách thêm / bỏ đồng biến một lần dựa trên một tiêu chí xác định (trong ví dụ của bạn ở trên tiêu chí sẽ dựa trên BIC).

Bằng cách chỉ định về phía trước, bạn đang nói Rrằng bạn muốn bắt đầu với mô hình đơn giản nhất (nghĩa là một hiệp phương sai) và sau đó thêm một đồng biến một lần duy nhất chỉ giữ lại các mô hình dẫn đến cải tiến cho các mô hình BIC.

Bằng cách chỉ định lùi, bạn đang nói Rrằng bạn muốn bắt đầu với mô hình đầy đủ (nghĩa là mô hình với tất cả các đồng biến) và sau đó thả đồng biến, một lúc, điều đó dẫn đến sự cải thiện trong BIC.

Hồi quy từng bước có thể là một thủ tục thống kê rất nguy hiểm vì nó không phải là một quy trình lựa chọn mô hình tối ưu. Phương pháp này có thể dẫn đến lựa chọn mô hình rất kém bởi vì và nó không bảo vệ bạn trước các vấn đề như so sánh nhiều.