Làm thế nào AIC hoặc BIC có thể được sử dụng thay vì phân chia thử nghiệm / đào tạo?

Gần đây tôi đã bắt gặp một số nguồn "không chính thức" chỉ ra rằng trong một số trường hợp, nếu chúng tôi sử dụng AIC hoặc BIC để đào tạo mô hình chuỗi thời gian, chúng tôi không cần chia dữ liệu thành thử nghiệm và đào tạo - chúng tôi có thể sử dụng tất cả các dữ liệu cho đào tạo. (Các nguồn bao gồm những người khác, một cuộc thảo luận về bài đăng trên blog của Rob Hyndman trên CV , bài trình bày này từ Stanford hoặc Phần 4 của văn bản này ).

Cụ thể, dường như chúng chỉ ra rằng AIC hoặc BIC có thể được sử dụng khi tập dữ liệu quá nhỏ để cho phép phân tách thử nghiệm / đào tạo.

Ví dụ, nhận xét của Rob Hyndman: "Sử dụng AIC / BIC sẽ hiệu quả hơn nhiều khi sử dụng các bộ kiểm tra hoặc CV, và nó trở nên cần thiết cho chuỗi thời gian ngắn khi không có đủ dữ liệu để làm khác."

Tuy nhiên, tôi dường như không thể tìm thấy bất kỳ văn bản hoặc giấy tờ nào thảo luận chi tiết về vấn đề này.

Một điều đặc biệt làm tôi bối rối là AIC và BIC có xu hướng bất thường về việc xác thực chéo, điều đó có nghĩa là nếu có thể, họ sẽ thay thế CV cho các tập dữ liệu lớn - đi ngược lại ý tưởng của chúng là hữu ích cho các tập dữ liệu nhỏ.

Bất cứ ai có thể chỉ cho tôi một cuộc thảo luận chính thức (chương sách, bài báo, hướng dẫn) về ý tưởng này?

— Skander H.
nguồn

Trong chương 5.5 của cuốn sách này , họ thảo luận về việc có bao nhiêu tiêu chí lựa chọn mô hình này phát sinh. Họ bắt đầu với tiêu chí FPE của Akaike cho các mô hình AR, và sau đó tiếp tục thảo luận về AIC, AICc và BIC. Họ đi bộ qua các dẫn xuất khá kỹ lưỡng.

Điểm chung của chúng là chúng điều tra những gì xảy ra khi bạn sử dụng một số dữ liệu trong mẫu được quan sát để ước tính các tham số mô hình, sau đó xem xét một số hàm mất (có nghĩa là lỗi dự đoán bình phương hoặc phân kỳ KL) trên một số không quan sát được / dữ liệu ngoài mẫu giả định $\{X_t\}$ $\{Y_t\}$ phát sinh từ việc sử dụng mô hình ước tính trên dữ liệu mới này. Ý tưởng chính là a) bạn thực hiện kỳ vọng đối với tất cả các dữ liệu và 2) sử dụng một số kết quả tiệm cận để có được biểu thức cho một số kỳ vọng. Số lượng từ (1) mang lại cho bạn hiệu suất tổng thể dự kiến, nhưng (2) giả định rằng bạn có nhiều dữ liệu hơn so với thực tế. Tôi không phải là chuyên gia, nhưng tôi cho rằng các phương pháp xác nhận chéo cũng nhắm vào các biện pháp thực hiện này; nhưng thay vì xem xét dữ liệu ngoài mẫu giả định, họ sử dụng dữ liệu thực được tách ra khỏi dữ liệu đào tạo.

Ví dụ đơn giản nhất là tiêu chí FPE. Giả sử bạn ước tính mô hình AR của mình trên toàn bộ dữ liệu (giống như tập kiểm tra) và thu được . Sau đó, tổn thất dự kiến trên dữ liệu không được quan sát (đó là giả thuyết, không phân tách như trong xác thực chéo) là $\{\hat{\phi}_i\}_i$ $\{Y_t\}$

\begin{aligned} E (Y_{n + 1} - {\hat{ϕ}}_{1} Y_{n} - \dots - {\hat{ϕ}}_{p} Y_{n + 1 - p})^{2} \\ = E (Y_{n + 1} - ϕ_{1} Y_{n} - \dots - ϕ_{p} Y_{n + 1 - p} - \\ ({\hat{ϕ}}_{1} - ϕ_{1}) Y_{n} - \dots - ({\hat{ϕ}}_{p} - ϕ_{p}) Y_{n + 1 - p})^{2} \\ = E (Z_{t} + ({\hat{ϕ}}_{1} - ϕ_{1}) Y_{n} - \dots - ({\hat{ϕ}}_{p} - ϕ_{p}) Y_{n + 1 - p})^{2} \\ = σ^{2} + E [E [(({\hat{ϕ}}_{1} - ϕ_{1}) Y_{n} - \dots - ({\hat{ϕ}}_{p} - ϕ_{p}) Y_{n + 1 - p})^{2} | {X_{t}}]] \\ = σ^{2} + E [\sum_{i = 1}^{p} \sum_{j = 1}^{p} ({\hat{ϕ}}_{i} - ϕ_{i}) ({\hat{ϕ}}_{j} - ϕ_{j}) E [Y_{n + 1 - i} Y_{n + 1 - j} | {X_{t}}]] \\ = σ^{2} + E [({\hat{ϕ}}_{p} - ϕ_{p})^{'} Γ_{p} ({\hat{ϕ}}_{p} - ϕ_{p})] \\ (typo in book: n^{- 1 / 2} should be n^{1 / 2}) & \approx σ^{2} (1 + \frac{p}{n}) \\ (n {\hat{σ}}^{2} / σ^{2} approx. χ_{n - p}^{2}) & \approx \frac{n {\hat{σ}}^{2}}{n - p} (1 + \frac{p}{n}) = {\hat{σ}}^{2} \frac{n + p}{n - p} . \end{aligned}

$\begin{align*} & E(Y_{n+1} -\hat{\phi}_1Y_n -\cdots - \hat{\phi}_p Y_{n+1-p} )^2 \\ &= E(Y_{n+1} -\phi_1Y_n -\cdots - \phi_p Y_{n+1-p} - \\ & \hspace{30mm} (\hat{\phi}_1 - \phi_1)Y_n - \cdots - (\hat{\phi}_p - \phi_p) Y_{n+1-p} )^2 \\ &= E( Z_t + (\hat{\phi}_1 - \phi_1)Y_n - \cdots - (\hat{\phi}_p - \phi_p) Y_{n+1-p} )^2 \\ &= \sigma^2 + E[E[((\hat{\phi}_1 - \phi_1)Y_n - \cdots - (\hat{\phi}_p - \phi_p) Y_{n+1-p} )^2 | \{X_t\} ]] \\ &= \sigma^2 + E\left[ \sum_{i=1}^p \sum_{j=1}^p (\hat{\phi}_i - \phi_i)(\hat{\phi}_j - \phi_j)E\left[ Y_{n+1-i}Y_{n+1-j} |\{X_t\} \right] \right] \\ &= \sigma^2 + E[({\hat{\phi}}_p -{\phi}_p )' \Gamma_p ({\hat{\phi}}_p -{\phi}_p )] \\ &\approx \sigma^2 ( 1 + \frac{p}{n}) \tag{typo in book: $n^{-1/2}$ should be $n^{1/2}$} \\ &\approx \frac{n \hat{\sigma}^2}{n-p} ( 1 + \frac{p}{n}) = \hat{\sigma}^2 \frac{n+p}{n-p} \tag{$n \hat{\sigma}^2/\sigma^2$ approx. $\chi^2_{n-p}$ }. \\ \end{align*}$

Tôi không biết bất kỳ bài báo nào ngoài đỉnh đầu so sánh thực nghiệm hiệu suất của các tiêu chí này với các kỹ thuật xác nhận chéo. Tuy nhiên, cuốn sách này cung cấp rất nhiều tài nguyên về cách FPE, AIC, AICc và BIC so sánh với nhau.

— Taylor
nguồn