Stepwise AIC - Có tồn tại tranh cãi xung quanh chủ đề này?

Tôi đã đọc vô số bài đăng trên trang web này cực kỳ chống lại việc sử dụng các biến số theo từng bước bằng cách sử dụng bất kỳ tiêu chí nào cho dù đó là giá trị p, AIC, BIC, v.v.

Tôi hiểu tại sao các thủ tục này nói chung, khá kém cho việc lựa chọn các biến. bài viết nổi tiếng của gung ở đây minh họa rõ ràng tại sao; cuối cùng, chúng tôi đang xác minh một giả thuyết trên cùng một tập dữ liệu mà chúng tôi đã sử dụng để đưa ra giả thuyết, đó chỉ là việc nạo vét dữ liệu. Hơn nữa, giá trị p bị ảnh hưởng bởi các đại lượng như cộng tuyến và ngoại lệ, làm cho kết quả bị lệch nhiều, v.v.

Tuy nhiên, gần đây tôi đã nghiên cứu dự báo chuỗi thời gian khá lâu và tình cờ thấy sách giáo khoa được kính trọng của Hyndman, trong đó ông đề cập ở đây việc sử dụng lựa chọn từng bước để tìm ra thứ tự tối ưu của các mô hình ARIMA nói riêng. Trong thực tế, trong forecastgói trong R, thuật toán nổi tiếng được biết đến auto.arimatheo mặc định sử dụng lựa chọn từng bước (với AIC, không phải giá trị p). Ông cũng chỉ trích lựa chọn tính năng dựa trên giá trị p phù hợp với nhiều bài đăng trên trang web này.

Cuối cùng, chúng ta nên luôn luôn xác nhận chéo theo một cách nào đó vào cuối nếu mục tiêu là phát triển các mô hình tốt để dự báo / dự đoán. Tuy nhiên, chắc chắn đây là một phần của sự bất đồng ở đây khi nói đến chính quy trình đánh giá các số liệu khác với giá trị p.

Có ai có bất kỳ ý kiến ​​nào về việc sử dụng AIC từng bước trong bối cảnh này, nhưng cũng nói chung ngoài bối cảnh này không? Tôi đã được dạy để tin rằng bất kỳ lựa chọn từng bước là kém, nhưng thành thật mà nói, auto.arima(stepwise = TRUE)đã cho tôi kết quả mẫu tốt hơn auto.arima(stepwise = FALSE)nhưng có lẽ đây chỉ là sự trùng hợp.

Có một vài vấn đề khác nhau ở đây.

• Có lẽ vấn đề chính là lựa chọn mô hình (cho dù sử dụng giá trị p hoặc AIC, từng bước hoặc tất cả các tập hợp con hoặc thứ gì khác) chủ yếu là vấn đề suy luận (ví dụ: nhận giá trị p với lỗi loại I thích hợp, khoảng tin cậy với độ bao phủ phù hợp). Để dự đoán , lựa chọn mô hình thực sự có thể chọn một điểm tốt hơn trên trục trao đổi sai lệch và cải thiện lỗi ngoài mẫu.
• Đối với một số loại mô hình, AIC không tương đương với lỗi CV rời khỏi một lần [xem ví dụ: http://www.petrkeil.com/?p=836 ], vì vậy sử dụng AIC làm proxy hiệu quả tính toán cho CV là hợp lý.
• Lựa chọn theo chiều thường bị chi phối bởi các phương pháp lựa chọn mô hình (hoặc tính trung bình ) khác (tất cả các tập hợp con nếu phương pháp tính toán khả thi hoặc phương pháp thu nhỏ). Nhưng nó đơn giản và dễ thực hiện, và nếu câu trả lời đủ rõ ràng (một số tham số tương ứng với tín hiệu mạnh, một số khác yếu, ít trung gian), thì nó sẽ cho kết quả hợp lý. Một lần nữa, có một sự khác biệt lớn giữa suy luận và dự đoán. Ví dụ: nếu bạn có một vài yếu tố dự đoán tương quan mạnh, chọn sai (theo quan điểm "sự thật" / quan điểm nhân quả) là một vấn đề lớn đối với suy luận, nhưng chọn một dự đoán xảy ra để cung cấp cho bạn AIC tốt nhất là hợp lý chiến lược dự đoán (mặc dù chiến lược sẽ thất bại nếu bạn cố gắng dự báo một tình huống trong đó mối tương quan của các yếu tố dự đoán thay đổi ...)

Điểm mấu chốt: đối với dữ liệu có kích thước vừa phải với tỷ lệ nhiễu tín hiệu hợp lý, lựa chọn từng bước dựa trên AIC thực sự có thể tạo ra một mô hình dự đoán có thể phòng thủ được ; xem Murtaugh (2009) để biết ví dụ.

Murtaugh, Paul A. "Hiệu suất của một số phương pháp lựa chọn áp dụng cho dữ liệu sinh thái thực." Thư sinh thái 12, không. 10 (2009): 1061-1068.