BIC có cố gắng tìm một mô hình thực sự không?

Câu hỏi này là một sự theo dõi hoặc cố gắng để làm sáng tỏ sự nhầm lẫn có thể liên quan đến một chủ đề tôi và nhiều người khác thấy hơi khó khăn, liên quan đến sự khác biệt giữa AIC và BIC. Trong một câu trả lời rất hay của @Dave Kellen về chủ đề này ( /stats//a/767/30589 ) chúng tôi đọc:

Câu hỏi của bạn ngụ ý rằng AIC và BIC cố gắng trả lời cùng một câu hỏi, điều này không đúng. AIC cố gắng chọn mô hình mô tả đầy đủ nhất một thực tế không xác định, chiều cao. Điều này có nghĩa là thực tế không bao giờ nằm trong tập hợp các mô hình ứng cử viên đang được xem xét. Ngược lại, BIC cố gắng tìm mô hình TRUE trong số các ứng cử viên. Tôi thấy khá kỳ lạ khi giả định rằng thực tế được khởi tạo trong một trong những mô hình mà các nhà nghiên cứu xây dựng trên đường đi. Đây là một vấn đề thực sự cho BIC.

Trong một bình luận dưới đây, bởi @ gui11aume, chúng tôi đọc:

(-1) Giải thích tuyệt vời, nhưng tôi muốn thách thức một khẳng định. @Dave Kellen Bạn có thể vui lòng cung cấp một tham chiếu đến nơi mà ý tưởng rằng mô hình TRUE phải có trong bộ cho BIC không? Tôi muốn điều tra về điều này, vì trong cuốn sách này, các tác giả đưa ra một bằng chứng thuyết phục rằng đây không phải là trường hợp. - gui11aume 27 tháng 5 '12 lúc 21:47

Dường như khẳng định này xuất phát từ chính Schwarz (1978), mặc dù khẳng định đó là không cần thiết: Bởi cùng các tác giả (như @ gui11aume liên kết đến), chúng tôi đã đọc từ bài báo của họ "Suy luận đa mô hình: Tìm hiểu AIC và BIC trong lựa chọn Mô hình" ( Burnham và Anderson, 2004):

Liệu việc tạo ra BIC có cho rằng sự tồn tại của một mô hình thực sự, hay hẹp hơn, là mô hình thực sự được giả định là trong mô hình được thiết lập khi sử dụng BIC? (Đạo hàm của Schwarz đã chỉ rõ các điều kiện này.) ... Câu trả lời ... không. Đó là, BIC (làm cơ sở cho một xấp xỉ với một tích phân Bayes nhất định) có thể được suy ra mà không cho rằng mô hình bên dưới đạo hàm là đúng (xem, ví dụ Cavanaugh và Neath 1999; Burnham và Anderson 2002: 293-5). Chắc chắn, khi áp dụng BIC, bộ mô hình không cần chứa mô hình thực (không tồn tại) đại diện cho thực tế đầy đủ. Hơn nữa, sự hội tụ xác suất của mô hình được chọn BIC với mô hình targbet (theo lý tưởng hóa mẫu iid) không có nghĩa là mô hình đích đó phải là phân phối tạo dữ liệu thực sự).

Vì vậy, tôi nghĩ rằng nó đáng để thảo luận hoặc làm rõ (nếu cần nhiều hơn) về chủ đề này. Ngay bây giờ, tất cả những gì chúng tôi có là một nhận xét từ @ gui11aume (cảm ơn bạn!) Dưới một câu trả lời được đánh giá rất cao về sự khác biệt giữa AIC và BIC.

model-selection aic bic

— Ero sennin
nguồn

Để tập trung câu hỏi tốt hơn, có lẽ AIC có thể bị xóa khỏi tiêu đề vì nếu tôi hiểu chính xác, câu hỏi này là về việc liệu mô hình thực sự có cần nằm trong bộ ứng cử viên khi sử dụng BIC hay không.

— Juho Kokkala

@JuhoKokkala: Tôi đồng ý.

— Erosennin

Đối với tôi, điểm mấu chốt là trong hầu hết các ứng dụng thực tế, BIC cho kết quả không chính xác và AIC đánh giá chính xác hơn hiệu suất của mô hình trên dữ liệu mới không có trong tay. Nhưng cho dù bạn sử dụng AIC hay BIC nếu bạn chọn trong số 3 mô hình / bộ tính năng cạnh tranh, mô hình kết quả có thể vượt trội. AIC và BIC hoạt động tốt nhất khi số lượng mô hình tiềm năng thấp hoặc các mô hình được kết nối bởi một số lượng nhỏ các tham số (ví dụ: hình phạt).

— Frank Harrell

Cảm ơn @Erosennin đã đào lên tài liệu tham khảo. Bây giờ tôi hiểu ý tưởng mà mô hình TRUE phải được đưa vào từ đâu.

— gui11aume

@FrankHarrell: Bạn có thể giải thích ý của bạn về "ứng dụng thực tế" không? Nếu tôi hiểu chính xác Burnham và Anderson, có vẻ như BIC sẽ dẫn đến việc thiếu hụt khi dữ liệu khan hiếm. Khi chúng ta có nhiều dữ liệu, BIC sẽ thực sự chọn / tìm kiếm một mô hình gần đúng phức tạp hơn AIC. AIC và BIC có "mô hình mục tiêu" khác nhau. Tôi rất thích một công phu của những gì bạn đang nói, nếu chỉ để hướng tôi đến một số bài viết / cuốn sách.

— Erosennin

\frac{p (M_{1} | y)}{p (M_{2} | y)} > 1 \overset{A}{\sim} S I C (M_{1}) < S I C (M_{2})

$\frac{p(M_1|y)}{p(M_2|y)} > 1 \overset{A}{\sim} SIC(M_1) < SIC(M_2)$

\overset{A}{\sim}

$\overset{A}{\sim}$

p (M_{j} | y)

$p(M_j|y)$

j

$j$

y

$y$

I C (k) = - \frac{2}{T} l (\hat{θ}; y) + k g (T)

$IC(k) = -\frac{2}{T} \mathcal{l}(\hat{\theta};y) + k g(T)$

l (\hat{θ}; y)

$\mathcal{l}(\hat{\theta};y)$

\hat{θ}

$\hat{\theta}$

k

$k$

T

$T$

g (T) \to 0 as \infty

$g(T) \to 0 \; \text{as} \;\infty$

T g (T) \to \infty as \infty

$Tg(T) \to \infty \; \text{as} \;\infty$

g_{A I C} (T) = \frac{2}{T}, g_{S I C} (T) = \frac{\ln T}{T}

$g_{AIC}(T) = \frac{2}{T},\;\; g_{SIC}(T) = \frac{\ln{T}}{T}$

Elliott, G. và A. Timmermann (2016, tháng 4). Dự báo kinh tế. Nhà xuất bản Đại học Princeton.

Schwarz, Gideon. "Ước tính kích thước của một chế độ." Biên niên sử thống kê 6.2 (1978): 461-464.

— Matthias Schmidtbl cổ
nguồn