Có bất kỳ lý do để thích AIC hoặc BIC hơn so với khác?

AIC và BIC đều là các phương pháp đánh giá mô hình phù hợp bị phạt vì số lượng tham số ước tính. Theo tôi hiểu, BIC phạt các mô hình nhiều hơn cho các tham số miễn phí so với AIC. Ngoài một ưu tiên dựa trên tính nghiêm ngặt của các tiêu chí, còn có lý do nào khác để thích AIC hơn BIC hay ngược lại không?

Câu hỏi của bạn ngụ ý rằng AIC và BIC cố gắng trả lời cùng một câu hỏi, điều này không đúng. AIC cố gắng chọn mô hình mô tả đầy đủ nhất một thực tế không xác định, chiều cao. Điều này có nghĩa là thực tế không bao giờ nằm ​​trong tập hợp các mô hình ứng cử viên đang được xem xét. Ngược lại, BIC cố gắng tìm mô hình TRUE trong số các ứng cử viên. Tôi thấy khá kỳ lạ khi giả định rằng thực tế được khởi tạo trong một trong những mô hình mà các nhà nghiên cứu xây dựng trên đường đi. Đây là một vấn đề thực sự cho BIC.

Tuy nhiên, có rất nhiều nhà nghiên cứu nói rằng BIC tốt hơn AIC, sử dụng mô phỏng phục hồi mô hình làm đối số. Các mô phỏng này bao gồm tạo dữ liệu từ các mô hình A và B, sau đó khớp cả hai bộ dữ liệu với hai mô hình. Quá mức xảy ra khi mô hình sai phù hợp với dữ liệu tốt hơn so với việc tạo. Điểm chính của những mô phỏng này là để xem AIC và BIC chỉnh sửa những bộ trang phục này tốt đến mức nào. Thông thường, kết quả chỉ ra thực tế rằng AIC quá tự do và vẫn thường thích một mô hình sai, phức tạp hơn so với một mô hình thực sự đơn giản hơn. Thoạt nhìn những mô phỏng này có vẻ là những lý lẽ thực sự tốt, nhưng vấn đề với chúng là chúng vô nghĩa đối với AIC. Như tôi đã nói trước đây, AIC không xem xét rằng bất kỳ mô hình ứng cử viên nào đang được thử nghiệm là thực sự đúng. Theo AIC, tất cả các mô hình là gần đúng với thực tế, và thực tế không bao giờ nên có chiều hướng thấp. Ít nhất là thấp hơn một số mô hình ứng cử viên.

Đề nghị của tôi là sử dụng cả AIC và BIC. Hầu hết các lần họ sẽ đồng ý về mô hình ưa thích, khi họ không, chỉ báo cáo nó.

Nếu bạn không hài lòng với cả AIC và BIC và có thời gian rảnh để đầu tư, hãy tìm kiếm Độ dài mô tả tối thiểu (MDL), một cách tiếp cận hoàn toàn khác khắc phục những hạn chế của AIC và BIC. Có một số biện pháp xuất phát từ MDL, như khả năng tối đa được chuẩn hóa hoặc xấp xỉ Thông tin Fisher. Vấn đề với MDL là nó đòi hỏi về mặt toán học và / hoặc tính toán chuyên sâu.

Tuy nhiên, nếu bạn muốn sử dụng các giải pháp đơn giản, một cách hay để đánh giá tính linh hoạt của mô hình (đặc biệt là khi số lượng tham số bằng nhau, khiến AIC và BIC trở nên vô dụng) đang thực hiện Parametric Bootstrap, khá dễ thực hiện. Đây là một liên kết đến một bài báo trên đó.

Một số người ở đây ủng hộ việc sử dụng xác nhận chéo. Cá nhân tôi đã sử dụng nó và không có bất cứ điều gì chống lại nó, nhưng vấn đề với nó là sự lựa chọn trong số các quy tắc cắt mẫu (bỏ qua một lần, K-Fold, v.v.) là một điều không được chấp nhận.

Mặc dù AIC và BIC đều là ước tính Khả năng tối đa được định hướng và xử phạt các tham số miễn phí trong nỗ lực chống lại tình trạng thừa, nhưng họ làm như vậy theo cách dẫn đến hành vi khác nhau đáng kể. Hãy xem xét một phiên bản thường được trình bày của các phương thức (dạng kết quả quy định các lỗi phân phối thông thường và các giả định ứng xử tốt khác):

• AIC = -2 * ln (khả năng) + 2 * k,

và

• BIC = -2 * ln (khả năng) + ln (N) * k,

Ở đâu:

• k = mức độ tự do của mô hình
• N = số lượng quan sát

Mô hình tốt nhất trong nhóm được so sánh là mô hình giảm thiểu các điểm số này, trong cả hai trường hợp. Rõ ràng, AIC không phụ thuộc trực tiếp vào kích thước mẫu. Hơn nữa, nói chung, AIC thể hiện sự nguy hiểm mà nó có thể vượt quá, trong khi BIC thể hiện sự nguy hiểm mà nó có thể gây ra, chỉ đơn giản là về cách họ xử phạt các tham số miễn phí (2 * k trong AIC; ln (N) * k trong BIC). Thông thường, khi dữ liệu được giới thiệu và điểm số được tính toán lại, BIC tương đối thấp (7 trở xuống) có khả năng chịu đựng các tham số tự do hơn AIC, nhưng dung sai thấp hơn ở N cao hơn (vì log tự nhiên của N vượt qua 2).

Ngoài ra, AIC nhằm mục đích tìm ra mô hình gần đúng nhất cho quy trình tạo dữ liệu chưa biết (thông qua giảm thiểu phân kỳ ước tính KL dự kiến ). Như vậy, nó không hội tụ xác suất theo mô hình thực (giả sử một người có mặt trong nhóm được đánh giá), trong khi BIC không hội tụ khi N có xu hướng vô cùng.

Vì vậy, như trong nhiều câu hỏi về phương pháp, được ưu tiên phụ thuộc vào những gì bạn đang cố gắng thực hiện, phương pháp nào khác có sẵn và liệu có bất kỳ tính năng nào được nêu hay không (hội tụ, dung sai tương đối cho các tham số miễn phí, giảm thiểu phân kỳ KL dự kiến ), nói với mục tiêu của bạn.

Giải thích nhanh của tôi là

• AIC là tốt nhất để dự đoán vì nó không có triệu chứng tương đương với xác nhận chéo.
• BIC là tốt nhất để giải thích vì nó cho phép ước tính nhất quán quá trình tạo dữ liệu cơ bản.

Theo kinh nghiệm của tôi, BIC dẫn đến tình trạng thiếu nghiêm trọng và AIC thường hoạt động tốt, khi mục tiêu là tối đa hóa sự phân biệt dự đoán.

Một "dẫn xuất" thông tin và có thể truy cập của AIC và BIC của Brian Ripley có thể được tìm thấy ở đây: http://www.stats.ox.ac.uk/~ripley/Nelder80.pdf

Ripley cung cấp một số nhận xét về các giả định đằng sau kết quả toán học. Trái với những gì một số câu trả lời khác chỉ ra, Ripley nhấn mạnh rằng AIC dựa trên giả định rằng mô hình là đúng. Nếu mô hình không đúng, một tính toán chung sẽ tiết lộ rằng "số lượng tham số" phải được thay thế bằng một đại lượng phức tạp hơn. Một số tài liệu tham khảo được đưa ra trong các slide Riplys. Tuy nhiên, lưu ý rằng đối với hồi quy tuyến tính (nói đúng với phương sai đã biết), nói chung, đại lượng phức tạp hơn đơn giản hóa bằng với số lượng tham số.

Thật vậy, sự khác biệt duy nhất là BIC được AIC mở rộng để đưa số lượng đối tượng (mẫu) vào tài khoản. Tôi sẽ nói rằng trong khi cả hai đều khá yếu (so với xác nhận chéo chẳng hạn) thì tốt hơn là sử dụng AIC, hơn là nhiều người sẽ quen với chữ viết tắt - thực sự tôi chưa bao giờ thấy một bài báo hay chương trình nào mà BIC sẽ được sử dụng (tôi vẫn thừa nhận rằng tôi thiên vị cho các vấn đề trong đó các tiêu chí như vậy đơn giản là không hoạt động).

Chỉnh sửa: AIC và BIC tương đương với xác thực chéo cung cấp hai giả định quan trọng - khi chúng được xác định, do đó, khi mô hình là khả năng tối đa và khi bạn chỉ quan tâm đến hiệu suất mô hình trên dữ liệu đào tạo. Trong trường hợp thu gọn một số dữ liệu vào một số loại đồng thuận, họ hoàn toàn ổn.
Trong trường hợp tạo ra một máy dự đoán cho một số vấn đề trong thế giới thực, điều đầu tiên là sai, vì tập huấn luyện của bạn chỉ đại diện cho một mẩu thông tin về vấn đề bạn đang giải quyết, vì vậy bạn không thể tối ưu hóa mô hình của mình; thứ hai là sai, bởi vì bạn mong đợi rằng mô hình của bạn sẽ xử lý dữ liệu mới mà bạn thậm chí không thể ngờ rằng tập huấn luyện sẽ là đại diện. Và đến cuối CV này đã được phát minh; để mô phỏng hành vi của mô hình khi đối mặt với dữ liệu độc lập. Trong trường hợp lựa chọn mô hình, CV cung cấp cho bạn không chỉ phân phối gần đúng về chất lượng mà còn phân phối xấp xỉ chất lượng, do đó, có một lợi thế lớn là nó có thể nói "Tôi không biết, bất kể dữ liệu mới nào cũng sẽ đến tốt hơn."

Như bạn đã đề cập, AIC và BIC là các phương pháp để xử phạt các mô hình vì có nhiều biến hồi quy hơn. Hàm hình phạt được sử dụng trong các phương thức này, là hàm của số lượng tham số trong mô hình.

• Khi áp dụng AIC, hàm hình phạt là z (p) = 2 p .

• Khi áp dụng BIC, hàm hình phạt là z (p) = p ln ( n ), dựa trên việc diễn giải hình phạt là xuất phát từ thông tin trước đó (do đó có tên là Tiêu chí thông tin Bayes).

Khi n lớn, hai mô hình sẽ tạo ra kết quả khá khác nhau. Sau đó, BIC áp dụng hình phạt lớn hơn nhiều đối với các mô hình phức tạp và do đó sẽ dẫn đến các mô hình đơn giản hơn AIC. Tuy nhiên, như đã nêu trong Wikipedia trên BIC :

cần lưu ý rằng trong nhiều ứng dụng ..., BIC chỉ đơn giản là giảm khả năng lựa chọn tối đa vì số lượng tham số là bằng nhau cho các mô hình quan tâm.

Từ những gì tôi có thể nói, không có nhiều khác biệt giữa AIC và BIC. Cả hai đều là xấp xỉ thuận tiện về mặt toán học mà người ta có thể thực hiện để so sánh hiệu quả các mô hình. Nếu họ cung cấp cho bạn các mô hình "tốt nhất" khác nhau, điều đó có thể có nghĩa là bạn có độ không chắc chắn của mô hình cao, điều quan trọng hơn là lo lắng về việc bạn nên sử dụng AIC hay BIC. Cá nhân tôi thích BIC hơn vì nó yêu cầu nhiều hơn (ít hơn) mô hình nếu nó có nhiều dữ liệu (ít hơn) để phù hợp với các tham số của nó - giống như một giáo viên yêu cầu tiêu chuẩn hiệu suất cao hơn (thấp hơn) nếu học sinh của họ có nhiều hơn (ít hơn) ) thời gian để tìm hiểu về chủ đề này. Đối với tôi điều này có vẻ như là điều trực quan để làm. Nhưng sau đó tôi chắc chắn cũng tồn tại những lý lẽ hấp dẫn và trực quan không kém đối với AIC, với hình thức đơn giản của nó.

Bây giờ bất cứ khi nào bạn thực hiện một xấp xỉ, chắc chắn sẽ có một số điều kiện khi những xấp xỉ đó là rác. Điều này có thể được nhìn thấy chắc chắn đối với AIC, nơi tồn tại nhiều "điều chỉnh" (AICc) để tính đến các điều kiện nhất định làm cho xấp xỉ ban đầu trở nên xấu. Điều này cũng có mặt cho BIC, bởi vì có nhiều phương pháp chính xác hơn (nhưng vẫn hiệu quả) khác, chẳng hạn như Xấp xỉ hoàn toàn cho các hỗn hợp của Zellner (BIC là một xấp xỉ với phương pháp xấp xỉ Laplace cho tích phân).

Một nơi mà cả hai đều tào lao là khi bạn có thông tin đáng kể trước về các tham số trong bất kỳ mô hình nào. AIC và BIC xử phạt các mô hình không cần thiết trong đó các tham số được biết một phần so với các mô hình yêu cầu các tham số được ước tính từ dữ liệu.

một điều tôi nghĩ rất quan trọng cần lưu ý là BIC không cho rằng mô hình "thật" a) tồn tại hoặc b) được chứa trong bộ mô hình. BIC chỉ đơn giản là một xấp xỉ với khả năng tích hợp (D = Dữ liệu, M = mô hình, A = giả định). Chỉ bằng cách nhân với một xác suất trước và sau đó bình thường hóa, bạn có thể nhận được . BIC chỉ đơn giản là đại diện cho khả năng của dữ liệu nếu mệnh đề ngụ ý của ký hiệu là đúng. Vì vậy, từ quan điểm logic, bất kỳ đề xuất nào dẫn đến BIC là một xấp xỉ đều được dữ liệu hỗ trợ như nhau. Vì vậy, nếu tôi nêu và là các mệnh đề$P(D|M,A)$$P(M|D,A)$$M$$M$$A$

Và sau đó tiếp tục gán các mô hình xác suất giống nhau (cùng tham số, cùng dữ liệu, cùng xấp xỉ, v.v.), tôi sẽ nhận được cùng một bộ các giá trị BIC. Chỉ bằng cách gắn một số ý nghĩa duy nhất vào chữ "M" mà người ta bị lôi kéo vào những câu hỏi không liên quan về "mô hình thực sự" (tiếng vang của "tôn giáo thực sự"). Điều duy nhất "định nghĩa" M là các phương trình toán học sử dụng nó trong các tính toán của họ - và điều này hầu như không bao giờ chỉ ra một và chỉ một định nghĩa. Tôi cũng có thể đưa ra một đề xuất dự đoán về M ("mô hình thứ i sẽ đưa ra dự đoán tốt nhất"). Cá nhân tôi không thể thấy điều này sẽ thay đổi bất kỳ khả năng nào, và do đó BIC sẽ tốt hay xấu (AIC cho vấn đề đó cũng vậy - mặc dù AIC dựa trên một dẫn xuất khác)

Và bên cạnh đó, những gì là sai với báo cáo kết quả Nếu mô hình đúng là trong tập Tôi đang xem xét, sau đó là một xác suất 57% rằng đó là mô hình B . Có vẻ đủ hợp lý với tôi, hoặc bạn có thể đi đến phiên bản "mềm" hơn, có xác suất 57% rằng mô hình B là tốt nhất trong số các bộ được xem xét

Một bình luận cuối cùng: Tôi nghĩ bạn sẽ tìm thấy nhiều ý kiến ​​về AIC / BIC như có những người biết về họ.

AIC hiếm khi nên được sử dụng, vì nó thực sự chỉ có giá trị không có triệu chứng. Hầu như luôn luôn tốt hơn để sử dụng AICc (AIC với một c orrection cho kích thước mẫu hữu hạn). AIC có xu hướng quá tham số hóa: vấn đề đó được giảm bớt rất nhiều với AICc. Ngoại lệ chính cho việc sử dụng AICc là khi các bản phân phối cơ bản có nhiều leptokurtic. Để biết thêm về điều này, xem cuốn sách Lựa chọn mô hình của Burnham & Anderson.

AIC và BIC là tiêu chí thông tin để so sánh các mô hình. Mỗi cố gắng cân bằng mô hình phù hợp và phân tích cú pháp và mỗi hình phạt khác nhau cho số lượng tham số.

AIC là tiêu chí thông tin của Akaike, công thức là trong đó là số lượng tham số và là khả năng tối đa; với công thức này, nhỏ hơn là tốt hơn. (Tôi nhớ rằng một số chương trình xuất , nhưng tôi không nhớ chi tiết)

BIC là tiêu chí thông tin Bayes, công thức là và nó ưa thích các mô hình khác biệt hơn AIC

Tôi chưa nghe nói về KIC.

Rất ngắn gọn:

• $n$
• $P(D|M,A) (D=Data, M=model, A=assumptions)$$P(M|D,A)$$n$$n$$k=n[1−1/(log(n)−1)]$$n=$cỡ mẫu (Shao 1997). Có nhiều phiên bản khác nhau của BIC mặc dù đưa ra các xấp xỉ khác nhau về khả năng cận biên hoặc giả định các linh mục khác nhau. Ví dụ, thay vì sử dụng đồng phục trước của tất cả các mô hình có thể có trong BIC ban đầu, EBIC sử dụng đồng phục trước của các mô hình có kích thước cố định ( Chen & Chen 2008 ) trong khi BICq sử dụng phân phối Bernouilli chỉ định xác suất trước cho từng tham số .

$lambda = 2$$lambda=log(n)$, trong đó tối ưu hóa một mục tiêu (LASSO hoặc hồi quy mạng đàn hồi) được theo sau bởi việc điều chỉnh (các) tham số chính quy dựa trên một số mục tiêu khác (ví dụ: giảm thiểu lỗi dự đoán xác thực chéo, AIC hoặc BIC).

$n −1$$n$

Lưu ý rằng lỗi LOOCV cũng có thể được tính toán phân tích từ phần dư và đường chéo của ma trận mũ , mà không phải thực sự thực hiện bất kỳ xác nhận chéo nào. Điều này sẽ luôn luôn là một thay thế cho AIC như là một xấp xỉ tiệm cận của lỗi LOOCV.

Người giới thiệu

Stone M. (1977) Một sự tương đương tiệm cận của sự lựa chọn mô hình theo xác nhận chéo và tiêu chí của Akaike. Tạp chí của Hiệp hội Thống kê Hoàng gia B. 39, 44 trận7.

Shao J. (1997) Một lý thuyết tiệm cận cho lựa chọn mô hình tuyến tính. Statistica Sinica 7, 221-242.