AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC - Tôi có thể sử dụng chúng thay thế cho nhau không?

Trên P. 34 trong số PRNN Brian Ripley của ông nhận xét rằng "AIC được Akaike (1974) đặt tên là" Tiêu chí thông tin "mặc dù có vẻ như người ta thường tin rằng chữ A là viết tắt của Akaike". Thật vậy, khi giới thiệu thống kê AIC, Akaike (1974, tr.719) giải thích rằng

"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".

Xem trích dẫn này như một dự đoán được thực hiện vào năm 1974, thật thú vị khi chỉ trong bốn năm, hai loại thống kê BIC (Bayesian IC) đã được đề xuất bởi Akaike (1977, 1978) và Schwarz (1978). Nó đã lấy Spiegelhalter et al. (2002) lâu hơn nữa để đưa ra DIC (Deviance IC). Mặc dù sự xuất hiện của tiêu chí CIC không được dự đoán bởi Akaike (1974), nhưng sẽ thật ngây thơ khi tin rằng nó không bao giờ được dự tính. Nó đã được đề xuất bởi Carlos C. Rodriguez vào năm 2005. (Lưu ý rằng R. Tibshirani và K. Knight's CIC (Tiêu chí lạm phát hiệp phương sai) là một điều khác biệt.)

Tôi biết rằng EIC (IC theo kinh nghiệm) được đề xuất bởi những người của Đại học Monash vào khoảng năm 2003. Tôi mới phát hiện ra Tiêu chí Thông tin Tập trung (FIC). Một số cuốn sách đề cập đến Hannan và Quinn IC là HIC, xem ví dụ như cuốn này ). Tôi biết nên có GIC (IC tổng quát) và tôi vừa khám phá Tiêu chí đầu tư thông tin (IIC). Có NIC, TIC và nhiều hơn nữa.

Tôi nghĩ rằng tôi có thể bao gồm phần còn lại của bảng chữ cái, vì vậy tôi không hỏi trình tự AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC, ... dừng lại ở đâu, hoặc các chữ cái của bảng chữ cái có không được sử dụng hoặc được sử dụng ít nhất hai lần (ví dụ E trong EIC có thể thay thế cho Mở rộng hoặc theo kinh nghiệm). Câu hỏi của tôi đơn giản hơn và tôi hy vọng thực tế hữu ích hơn. Tôi có thể sử dụng các số liệu thống kê đó thay thế cho nhau, bỏ qua các giả định cụ thể mà chúng được đưa ra theo, các tình huống cụ thể mà chúng có nghĩa là được áp dụng, v.v.

Câu hỏi này một phần được thúc đẩy bởi Burnham & Anderson (2001) viết rằng:

...the comparison of AIC and BIC model selection ought to be based on their performance 
properties such as mean square error for parameter estimation (includes prediction) and 
confidence interval coverage: tapering effects or not, goodness-of-fit issues, 
derivation of theory is irrelevant as it can be frequentist or Bayes. 

Chương 7 của chuyên khảo của Hyndman và cộng sự về làm mịn theo cấp số nhân dường như làm theo lời khuyên của BA khi xem xét năm IC thay thế (AIC, BIC, AICc, HQIC, LEIC) thực hiện như thế nào trong việc lựa chọn mô hình dự báo tốt nhất (được đo lường) bằng một biện pháp lỗi mới được đề xuất gọi là MASE) để kết luận rằng AIC là sự thay thế tốt hơn thường xuyên hơn. (HQIC được báo cáo là công cụ chọn mô hình tốt nhất chỉ một lần.)

Tôi không chắc mục đích hữu ích của các bài tập nghiên cứu là ngầm đối xử với tất cả ICc như thể chúng có nguồn gốc để trả lời một và cùng một câu hỏi theo các giả định tương đương. Cụ thể, tôi không chắc sẽ hữu ích như thế nào khi điều tra hiệu suất dự đoán của tiêu chí nhất quán để xác định thứ tự của sự tự phát (mà Hannan và Quinn đã tạo ra cho các chuỗi ổn định ergodic) bằng cách sử dụng nó trong bối cảnh của số không cố định theo cấp số nhân mô hình làm mịn được mô tả và phân tích trong chuyên khảo của Hyndman et al. Am i thiếu cái gì ở đây?

Người giới thiệu:

Akaike, H. (1974), Một cái nhìn mới về nhận dạng mô hình thống kê, Giao dịch của IEEE về Điều khiển tự động 19 (6), 716-723.

Akaike, H. (1977), Về nguyên tắc tối đa hóa entropy, trong PR Krishnaiah, chủ biên, Ứng dụng thống kê , Tập. 27, Amsterdam: Bắc Hà Lan, trang 27-41.

Akaike, H. (1978), Một phân tích Bayes về thủ tục AIC tối thiểu, Biên niên sử của Viện Toán học Thống kê 30 (1), 9-14.

Burnham, KP & Anderson, DR (2001) Thông tin về KullbackTHER Leibler làm cơ sở cho sự suy luận mạnh mẽ trong nghiên cứu sinh thái, Nghiên cứu Động vật hoang dã 28, 111-119

Hyndman, RJ, Koehler, AB, Ord, JK & Snyder, RD Dự báo với làm mịn theo cấp số nhân: cách tiếp cận không gian trạng thái. New York: Mùa xuân, 2008

Ripley, nhận dạng mẫu BD và mạng nơ ron . Cambridge: Nhà xuất bản Đại học Cambridge, 1996

Schwarz, G. (1978), Ước tính kích thước của một mô hình, Biên niên sử Thống kê 6 (2), 461-464.

Spiegelhalter, DJ, Best, NG, Carlin, BP và van der Linde, A. (2002), các biện pháp phức tạp của mô hình Bayes và t (có thảo luận), Tạp chí của Hiệp hội Thống kê Hoàng gia. Sê-ri B (Phương pháp thống kê) 64 (4), 583-639.

Sự hiểu biết của tôi là AIC, DIC và WAIC đều đang ước tính cùng một điều: độ lệch ngoài mẫu dự kiến ​​liên quan đến một mô hình. Đây cũng là điều tương tự mà ước tính xác nhận chéo. Trong Gelman và cộng sự. (2013), họ nói điều này một cách rõ ràng:

Một cách tự nhiên để ước tính lỗi dự đoán ngoài mẫu là xác thực chéo (xem Vehtari và Lampinen, 2002, cho phối cảnh Bayes), nhưng các nhà nghiên cứu luôn tìm kiếm các phương pháp thay thế, vì xác thực chéo yêu cầu mô hình lặp lại phù hợp và có thể gặp rắc rối với dữ liệu thưa thớt. Vì lý do thực tế, vẫn còn một nơi để điều chỉnh sai lệch đơn giản như AIC (Akaike, 1973), DIC (Spiegelhalter, Best, Carlin, và van der Linde, 2002, van der Linde, 2005), và gần đây hơn, WAIC (Watanabe, 2010) và tất cả những điều này có thể được xem là xấp xỉ với các phiên bản xác thực chéo khác nhau (Stone, 1977).

BIC ước tính một cái gì đó khác nhau, có liên quan đến chiều dài mô tả tối thiểu. Gelman và cộng sự. Nói:

BIC và các biến thể của nó khác với các tiêu chí thông tin khác được xem xét ở đây được thúc đẩy không phải bởi một ước tính của dự đoán mà bởi mục tiêu xấp xỉ mật độ xác suất cận biên của dữ liệu, p (y), theo mô hình, có thể được sử dụng để ước tính xác suất sau tương đối trong một thiết lập so sánh mô hình rời rạc.

Thật không may, tôi không biết gì về các tiêu chí thông tin khác mà bạn đã liệt kê.

Bạn có thể sử dụng các tiêu chí thông tin giống như AIC thay thế cho nhau không? Các ý kiến ​​có thể khác nhau, nhưng cho rằng AIC, DIC, WAIC và xác thực chéo đều ước tính cùng một điều, thì đúng vậy, chúng ít nhiều có thể thay thế cho nhau. BIC là khác nhau, như đã lưu ý ở trên. Tôi không biết về những người khác.

Tại sao có nhiều hơn một?

• AIC hoạt động tốt khi bạn có ước tính khả năng tối đa và các linh mục phẳng, nhưng thực sự không có gì để nói về các kịch bản khác. Hình phạt cũng quá nhỏ khi số lượng tham số tiếp cận số điểm dữ liệu. AICc điều chỉnh quá mức cho điều này, có thể tốt hoặc xấu tùy theo quan điểm của bạn.

• DIC sử dụng một hình phạt nhỏ hơn nếu các bộ phận của mô hình bị ràng buộc rất nhiều bởi các linh mục (ví dụ: trong một số mô hình đa cấp trong đó các thành phần phương sai được ước tính). Điều này là tốt, vì các tham số bị hạn chế rất nhiều không thực sự tạo thành một mức độ tự do đầy đủ. Thật không may, các công thức thường được sử dụng cho DIC cho rằng về cơ bản là Gaussian (nghĩa là nó được mô tả tốt bởi ý nghĩa của nó), và do đó, người ta có thể nhận được kết quả lạ (ví dụ như hình phạt tiêu cực) trong một số tình huống.

• WAIC sử dụng toàn bộ mật độ sau hiệu quả hơn DIC, vì vậy Gelman et al. thích nó mặc dù nó có thể là một nỗi đau để tính toán trong một số trường hợp.

• Xác thực chéo không dựa trên bất kỳ công thức cụ thể nào, nhưng nó có thể bị cấm tính toán đối với nhiều mô hình.

Theo quan điểm của tôi, quyết định sử dụng một trong những tiêu chí giống AIC phụ thuộc hoàn toàn vào các loại vấn đề thực tế này, thay vì bằng chứng toán học rằng cái này sẽ làm tốt hơn cái kia.

Tài liệu tham khảo :

Gelman và cộng sự. Hiểu các tiêu chí thông tin dự đoán cho các mô hình Bayes. Có sẵn từ http://citeseerx.ist.psu.edu/viewdoc/doad?doi=10.1.1.295.3501&rep=rep1&type=pdf

"Có thể thay thế" là một từ quá mạnh. Tất cả chúng là các tiêu chí tìm cách so sánh các mô hình và tìm ra mô hình "tốt nhất", nhưng mỗi mô hình định nghĩa "tốt nhất" khác nhau và có thể xác định các mô hình khác nhau là "tốt nhất".

Hãy đề xuất một cuộc trưng cầu dân ý. Chỉ cần bỏ phiếu! ;-) Tôi thích CAIC (Bozdogan, 1987) và BIC hoàn toàn từ thực tiễn cá nhân của tôi, bởi vì các tiêu chí này đưa ra một hình phạt nghiêm trọng cho sự phức tạp, chúng tôi có nhiều sự kỳ thị hơn, nhưng tôi luôn hiển thị danh sách các mô hình tốt - đến delta 4-6 -8 (thay vì 2). Trong bước điều tra các tham số (vì chúng tôi có một mô hình ứng cử viên kéo dài rất tốt), trung bình MM (B & A) thường không có gì thay đổi. Tôi hơi hoài nghi cả AIC và AICc cổ điển (H & T, được phổ biến bởi B & A), vì họ thường cho một "lớp kem rất dày". ;-)