Tại sao áp dụng lựa chọn mô hình bằng AIC mang lại cho tôi các giá trị p không đáng kể cho các biến

Tôi có một số câu hỏi về AIC và hy vọng bạn có thể giúp tôi. Tôi đã áp dụng lựa chọn mô hình (lùi hoặc tiến) dựa trên AIC trên dữ liệu của mình. Và một số biến được chọn kết thúc với giá trị p> 0,05. Tôi biết rằng mọi người đang nói rằng chúng ta nên chọn các mô hình dựa trên AIC thay vì giá trị p, vì vậy dường như AIC và giá trị p là hai khái niệm khác nhau. Ai đó có thể cho tôi biết sự khác biệt là gì? Những gì tôi hiểu cho đến nay là:

1. Để chọn ngược bằng AIC, giả sử chúng ta có 3 biến (var1, var2, var3) và AIC của mô hình này là AIC *. Nếu loại trừ bất kỳ một trong ba biến này sẽ không kết thúc với AIC thấp hơn đáng kể so với AIC * (về phân phối ch-vuông với df = 1), thì chúng tôi sẽ nói ba biến này là kết quả cuối cùng.

2. Giá trị p đáng kể cho một biến (ví dụ var1) trong mô hình ba biến có nghĩa là kích thước hiệu ứng được tiêu chuẩn hóa của biến đó khác biệt đáng kể so với 0 (theo Wald, hoặc kiểm tra t).

Sự khác biệt cơ bản giữa hai phương pháp này là gì? Làm cách nào để diễn giải nó nếu có một số biến có giá trị p không đáng kể trong mô hình tốt nhất của tôi (thu được qua AIC)?

AIC và các biến thể của nó gần với các biến thể trên trên các giá trị p của từng biến hồi quy. Chính xác hơn, chúng là các phiên bản bị phạt của khả năng đăng nhập.$R^2$

Bạn không muốn kiểm tra sự khác biệt của AIC bằng cách sử dụng bình phương. Bạn có thể kiểm tra sự khác biệt của khả năng đăng nhập bằng cách sử dụng bình phương (nếu các mô hình được lồng nhau). Đối với AIC, thấp hơn là tốt hơn (trong hầu hết các triển khai của nó, dù sao). Không cần điều chỉnh thêm.

Bạn thực sự muốn tránh các phương pháp lựa chọn mô hình tự động, nếu bạn có thể. Nếu bạn phải sử dụng một, hãy thử LASSO hoặc LAR.

$\chi^2_1$

Vì vậy, hầu như không ngạc nhiên nếu bạn so sánh nó với việc sử dụng một số điểm cắt nhỏ hơn cho các giá trị p mà đôi khi nó bao gồm các biến có giá trị p cao hơn mức cắt đó.

Lưu ý rằng không có giá trị p hoặc AIC nào được thiết kế để lựa chọn mô hình từng bước, trên thực tế, các giả định nằm dưới cả hai (nhưng các giả định khác nhau) đều bị vi phạm sau bước đầu tiên trong hồi quy từng bước. Như @PeterFlom đã đề cập, LASSO và / hoặc LAR là những lựa chọn thay thế tốt hơn nếu bạn cảm thấy cần lựa chọn mô hình tự động. Các phương pháp đó kéo các ước tính lớn bằng cơ hội (phần thưởng từng bước cho cơ hội) trở về 0 và do đó có xu hướng ít sai lệch hơn so với từng bước (và xu hướng còn lại có xu hướng bảo thủ hơn).

Một vấn đề lớn với AIC thường bị bỏ qua là kích thước của sự khác biệt trong các giá trị AIC, tất cả đều phổ biến để thấy "thấp hơn là tốt hơn" và dừng lại ở đó (và các thủ tục tự động chỉ nhấn mạnh điều này). Nếu bạn đang so sánh 2 mô hình và chúng có các giá trị AIC rất khác nhau, thì có một ưu tiên rõ ràng cho mô hình với AIC thấp hơn, nhưng thường chúng ta sẽ có 2 mô hình (hoặc nhiều hơn) với các giá trị AIC gần nhau, trong trường hợp này chỉ sử dụng mô hình có giá trị AIC thấp nhất sẽ bỏ lỡ thông tin có giá trị (và suy ra những điều về các thuật ngữ có trong hoặc không có trong mô hình này nhưng khác với các mô hình tương tự khác sẽ vô nghĩa hoặc tệ hơn). Thông tin từ bên ngoài dữ liệu (chẳng hạn như mức độ khó / tốn kém) để thu thập tập hợp các biến dự đoán) có thể làm cho một mô hình có AIC cao hơn một chút mong muốn sử dụng mà không làm giảm chất lượng. Một cách tiếp cận khác là sử dụng mức trung bình có trọng số của các mô hình tương tự (điều này có thể sẽ dẫn đến dự đoán cuối cùng tương tự với các phương pháp bị phạt như hồi quy sườn hoặc lasso, nhưng quá trình suy nghĩ dẫn đến mô hình có thể giúp hiểu được).

Kinh nghiệm của tôi với AIC là nếu các biến xuất hiện không đáng kể, nhưng vẫn xuất hiện trong mô hình có AIC nhỏ nhất, thì các biến đó có thể là các yếu tố gây nhiễu.

Tôi đề nghị bạn kiểm tra gây nhiễu. Loại bỏ các biến không quan trọng như vậy sẽ làm thay đổi từ tính của một số hệ số ước tính còn lại hơn 25%.

Tôi nghĩ rằng lựa chọn mô hình tốt nhất là bằng cách sử dụng gói MuMIn. Đây sẽ là kết quả cuối cùng và bạn không phải tìm kiếm các giá trị AIC thấp nhất. Thí dụ:

d<-read.csv("datasource")
library(MuMIn)
fit<-glm(y~x1+x2+x3+x4,family=poisson,data=d)
get.models(dredge(fit,rank="AIC"))[1]