Hướng dẫn của AIC trong việc lựa chọn mô hình

Tôi thường sử dụng BIC vì sự hiểu biết của tôi là nó đánh giá cao sự phân tích mạnh mẽ hơn AIC. Tuy nhiên, tôi đã quyết định sử dụng một cách tiếp cận toàn diện hơn bây giờ và cũng muốn sử dụng AIC. Tôi biết rằng Raftery (1995) đã trình bày các hướng dẫn tốt đẹp về sự khác biệt của BIC: 0-2 là yếu, 2-4 là bằng chứng tích cực cho một mô hình trở nên tốt hơn, v.v.

Tôi đã xem trong sách giáo khoa và chúng có vẻ lạ trên AIC (có vẻ như sự khác biệt lớn hơn là yếu và sự khác biệt nhỏ hơn trong AIC có nghĩa là một mô hình tốt hơn). Điều này đi ngược lại với những gì tôi biết tôi đã được dạy. Hiểu biết của tôi là bạn muốn AIC thấp hơn.

Có ai biết nếu hướng dẫn của Raftery cũng mở rộng sang AIC không, hoặc nơi tôi có thể trích dẫn một số hướng dẫn về "sức mạnh của bằng chứng" cho một mô hình so với mô hình khác?

Và vâng, điểm cắt không tuyệt vời (tôi thấy khó chịu) nhưng chúng rất hữu ích khi so sánh các loại bằng chứng khác nhau.

AIC và BIC giữ cách giải thích giống nhau về mặt so sánh mô hình. Đó là, sự khác biệt lớn hơn trong AIC hoặc BIC cho thấy bằng chứng mạnh mẽ hơn cho một mô hình so với mô hình kia (càng thấp càng tốt). Đó chỉ là AIC không xử phạt số lượng tham số mạnh như BIC. Ngoài ra còn có một sự điều chỉnh đối với AIC (AICc) được sử dụng cho các cỡ mẫu nhỏ hơn. Thông tin thêm về việc so sánh AIC / BIC có thể được tìm thấy ở đây .

Bạn đang nói về hai điều khác nhau và bạn đang trộn lẫn chúng. Trong trường hợp đầu tiên, bạn có hai mô hình (1 và 2) và bạn đã nhận được AIC của họ như và . NẾU bạn muốn so sánh hai mô hình này dựa trên AIC của chúng, thì mô hình có AIC thấp hơn sẽ là mô hình được ưu tiên, tức là nếu thì bạn chọn mô hình 1 và ngược lại. Trong trường hợp thứ 2, bạn có một tập hợp các mô hình ứng cử viên như các mô hình và với mỗi mô hình, bạn tính toán sự khác biệt của AIC là , trong đó là AIC cho các th mô hình và là tối thiểu của AIC trong số tất cả các mô hình. Bây giờ là mô hình với Một Tôi C 2 Một Tôi C 1 < Một Tôi C 2 ( 1 , 2 , . . . , N ) Δ i = Một Tôi C i - Một Tôi C m i n Một Tôi C i i A I C m i n Δ i > 10 Δ i Δ $AIC_1$$AIC_2$$AIC_1< AIC_2$
$(1, 2, ..., n)$$\Delta_i= AIC_i- AIC_{min}$$AIC_i$$i$$AIC_{min}$$\Delta_i >10$ không có hỗ trợ và có thể được xem xét từ việc xem xét thêm như được giải thích trong Lựa chọn mô hình và Suy luận đa mô hình: Phương pháp tiếp cận lý thuyết thông tin thực tế của Kenneth P. Burnham, David R. Anderson, trang 71. Vì vậy, lớn hơn là , yếu hơn sẽ là mô hình của bạn. Ở đây mô hình tốt nhất có$\Delta_i$$\Delta_i\equiv\Delta_{min}\equiv0.$

Tôi thường không bao giờ sử dụng AIC hoặc BIC một cách khách quan để mô tả sự phù hợp đầy đủ cho một mô hình. Tôi làm sử dụng các IC để so sánh phù hợp tương đối của hai mô hình tiên đoán. Theo như AIC của "2" hay "4" có liên quan hay không, thì nó hoàn toàn theo ngữ cảnh. Nếu bạn muốn hiểu về cách một mô hình "tốt" phù hợp, bạn có thể (nên) luôn luôn sử dụng một mô phỏng. Sự hiểu biết của bạn về AIC là đúng. AIC nhận được sự đóng góp tích cực từ các thông số và đóng góp tiêu cực từ khả năng. Những gì bạn đang cố gắng làm là tối đa hóa khả năng mà không tải lên mô hình của bạn với một loạt các tham số. Vì vậy, ý kiến ​​vỡ bong bóng của tôi là việc cắt giảm AIC là không tốt trong bối cảnh.

Dưới đây là một câu hỏi liên quan khi nào nó là phù hợp để lựa chọn mô hình-bằng cách giảm thiểu-a-aic? . Nó cung cấp cho bạn một ý tưởng chung về những gì mọi người không thể nhận ra trong thế giới học thuật cho rằng phù hợp để viết và những gì tham khảo để lại là quan trọng.

Nói chung, đó là sự khác biệt giữa khả năng hoặc AIC là vấn đề, không phải là giá trị tuyệt đối của chúng. Bạn đã bỏ lỡ từ quan trọng "sự khác biệt" trong "BIC: 0-2 yếu" trong câu hỏi - kiểm tra BẢNG 6 của Rafter - và thật lạ khi không ai muốn sửa điều đó.

Bản thân tôi đã được dạy để tìm kiếm MAICE (Ước tính AIC tối thiểu - như Akaike đã gọi nó). Vậy thì sao? Đây là những gì một người nổi tiếng đã viết cho một người phụ nữ lạ mặt:

Dear Miss -- 
I have read about sixteen pages of your manuscript ... I suffered exactly the same 
treatment at the hands of my teachers who disliked me for my independence and passed 
over me when they wanted assistants ... keep your manuscript for your sons and
daughters, in order that they may derive consolation from it and not give a damn for
what their teachers tell them or think of them. ... There is too much education
altogether.

Các giáo viên của tôi chưa bao giờ nghe các bài báo có tiêu đề như "Một bài kiểm tra xem hai AIC có khác nhau đáng kể không" và tôi thậm chí không thể nhớ họ từng gọi AIC là thống kê, có phân phối mẫu và các thuộc tính khác. Tôi đã được dạy AIC là một tiêu chí để được giảm thiểu, nếu có thể trong một số thời trang tự động.

Một vấn đề quan trọng khác, mà tôi nghĩ đã được IrishStat bày tỏ ở đây vài năm trước (từ bộ nhớ nên xin lỗi nếu tôi sai khi không tìm thấy câu trả lời đó) là AIC, BIC và các tiêu chí khác đã được đưa ra cho các mục đích khác nhau và trong các điều kiện khác nhau (giả định) vì vậy bạn thường không thể sử dụng chúng thay thế cho nhau nếu mục đích của bạn là dự báo, nói. Bạn không thể chỉ thích một cái gì đó không phù hợp.

Các nguồn của tôi cho thấy rằng tôi đã sử dụng một trích dẫn cho Burnham và Anderson (2002, trang 70) để viết rằng delta (khác biệt AIC) trong vòng 0-2 có một sự hỗ trợ đáng kể; delta trong vòng 4-7 ít hỗ trợ hơn đáng kể và delta lớn hơn 10 về cơ bản không hỗ trợ. Ngoài ra, tôi đã viết rằng "các tác giả cũng thảo luận về các điều kiện theo đó các hướng dẫn này có thể hữu ích". Cuốn sách được trích dẫn trong câu trả lời của Stat, mà tôi nêu lên là có liên quan nhất.

Liên quan đến tiêu chí thông tin, đây là những gì SAS nói:

"Lưu ý rằng các tiêu chí thông tin như Akaike's (AIC), Schwarz's (SC, BIC) và QIC có thể được sử dụng để so sánh các mô hình không cạnh tranh, nhưng không cung cấp thử nghiệm so sánh. Do đó, chúng không thể chỉ ra liệu một mô hình có đáng kể hay không. tốt hơn so với cái khác. GENMOD, LOGISTIC, GLIMMIX, MIXED và các quy trình khác cung cấp các biện pháp tiêu chí thông tin. "

Có hai quy trình thử nghiệm mô hình so sánh: a) Thử nghiệm Vương và b) thử nghiệm Clarke không tham số. Xem bài viết này để biết chi tiết.