Tại sao tiêu chí thông tin (không được điều chỉnh ) được sử dụng để chọn thứ tự độ trễ phù hợp trong mô hình chuỗi thời gian?

9

Trong các mô hình chuỗi thời gian, như ARMA-GARCH, để chọn độ trễ hoặc thứ tự phù hợp của tiêu chí thông tin khác nhau của mô hình, như AIC, BIC, SIC, v.v., được sử dụng.

Câu hỏi của tôi rất đơn giản, tại sao donot chúng tôi sử dụng điều chỉnh để chọn mô hình phù hợp? Chúng ta có thể chọn mô hình dẫn đến giá trị cao hơn của điều chỉnh . Bởi vì cả hai điều chỉnh và tiêu chí thông tin đều bị phạt đối với số lượng hồi quy bổ sung trong mô hình, trong đó trước đây sẽ phạt và sau đó xử phạt giá trị khả năng. $R^2$ $R^2$ $R^2$ $R^2$

— Neeraj
nguồn

Tôi có thể thiếu một cái gì đó trong các câu trả lời (bên dưới) nhưng bình phương R cũng như bình phương R đã điều chỉnh phù hợp với lớp mô hình ước tính OLS tương đối hạn chế trong khi AIC, BIC, v.v., phù hợp với lớp tuyến tính tổng quát rộng hơn các mô hình ước tính, có lẽ, với ML hoặc một biến thể.

— Mike Hunter

12

Tôi sẽ lập luận rằng ít nhất là khi thảo luận về các mô hình tuyến tính (như các mô hình AR), và AIC được điều chỉnh không khác nhau. $R^2$

Hãy xem xét câu hỏi có nên đưa vào Điều này tương đương với việc so sánh các mô hình trong đó . Chúng tôi nói rằng là mô hình thực sự nếu . Lưu ý rằng . Các mô hình được lồng nhau . Quy trình lựa chọn mô hình là quy tắc phụ thuộc vào dữ liệu, chọn một số mô hình hợp lý nhất. $X_2$

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$

M_{2}

$\mathcal{M}_2$

β_{2} \neq 0

$\beta_2\neq0$

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$

\hat{M}

$\widehat{\mathcal{M}}$

Chúng tôi nói là nhất quán nếu $\widehat{\mathcal{M}}$

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

Xem xét điều chỉnh . Nghĩa là chọn if . Vì đang giảm đơn điệu trong , quy trình này tương đương với giảm thiểu . Đổi lại, điều này tương đương với việc giảm thiểu . Đối với đủ lớn , cái sau có thể được viết là trong đó $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ là công cụ ước tính ML của phương sai lỗi. Do đó, lựa chọn mô hình dựa trên tương đương với việc chọn mô hình có nhỏ nhất . Thủ tục này không nhất quán.

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

Đề xuất :

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

Bằng chứng : trong đó dòng thứ 2 đến cuối cùng theo sau bởi vì thống kê là thống kê LR trong trường hợp hồi quy tuyến tính theo sau tiệm cận phân phối null. QED

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

Bây giờ hãy xem xét tiêu chí của Akaike, Do đó, AIC cũng đánh đổi việc giảm SSR được ngụ ý bởi các biến hồi quy bổ sung chống lại "thời hạn phạt" , "Chỉ vào hướng ngược lại. Do đó, chọn nếu , nếu không thì chọn .

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

Có thể thấy rằng cũng không nhất quán bằng cách tiếp tục bằng chứng trên trong dòng ba với . Do đó, và điều chỉnh chọn mô hình "lớn" với xác suất dương, ngay cả khi là mô hình thực. $AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

Vì hình phạt cho sự phức tạp trong AIC lớn hơn một chút so với điều chỉnh , mặc dù vậy, nó có thể ít bị chọn quá mức. Và nó có các thuộc tính tốt đẹp khác (giảm thiểu phân kỳ KL thành mô hình thực nếu điều đó không nằm trong tập hợp các mô hình được xem xét) không được đề cập trong bài viết của tôi. $R^2$

— Christoph Hanck
nguồn

1

Câu trả lời tuyệt vời: không quá nặng nhưng vẫn chính xác! Nếu nó đã ở đó ngày hôm qua, tôi sẽ không đăng của tôi.

— Richard Hardy

Còn đối với trường hợp ARMA-GARCH thì sao? Làm thế nào sẽ làm tại chọn amung MA và GARCH ngữ?

R_{a d j}^{2}

$R^2_{adj}$

— Zachary Blumenfeld

Tôi không dám nói. Như bạn giải thích, thậm chí không rõ R2 có nghĩa gì cho sự phù hợp của một mô hình như vậy.

— Christoph Hanck

5

Hình phạt trong không mang lại các đặc tính tốt về mặt lựa chọn mô hình như được quy định bởi AIC hoặc BIC. Hình phạt trong là đủ để biến thành một công cụ ước tính không thiên vị của dân số khi không có biến hồi quy nào thực sự thuộc về mô hình (theo bài đăng trên blog của Dave Giles "In What Sense là R-Squared "Điều chỉnh" không thiên vị? " và " Thông tin thêm về các thuộc tính của "Hệ số xác định" đã điều chỉnh " ); tuy nhiên, không phải là bộ chọn mô hình tối ưu. $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$

(Có thể có một bằng chứng bằng mâu thuẫn: nếu AIC tối ưu theo một nghĩa và BIC là tối ưu theo nghĩa khác và không tương đương với một trong hai, thì cũng không tối ưu của hai giác quan này.) $R^2_{adj}$ $R^2_{adj}$

— Richard Hardy
nguồn

Tôi phải thêm bao nhiêu tham số GARCH trước khi tăng? :) .... Tôi tin rằng một lập luận tương tự có thể được đưa ra cho giả định sai số tương quan (như trong mô hình MA), mô hình GLS không làm giảm tổng số dư bình phương so với bình phương tối thiểu thông thường. Trong cả MA và GARCH, các tham số (không phải là biến giải thích, mà được điều chỉnh) được thêm vào mô hình. MA và GARCH thông số không được thêm vào để giảm , chứ không phải họ đang bổ sung để tăng khả năng và / hoặc giảm một trọng tổng dư bình phương để phản ánh sự thiếu về lỗi iid.

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

— Zachary Blumenfeld

Điều này thực sự giải quyết bài viết gốc hoặc câu trả lời của tôi? Trong mọi trường hợp, tôi đồng ý với quan điểm của bạn.

— Richard Hardy

Điều tôi đã cố gắng chỉ ra là thực sự không thể được sử dụng để chọn các thành phần GARCH (và có thể cả các thành phần MA) vì nó dựa trên tỷ lệ so với là các công cụ ước tính sai lệch của phương sai khi các điều khoản lỗi không phải là iid. (đây chỉ là một trường hợp cụ thể của sự thiên vị mà bạn nói về). Trong trường hợp ARMA-GARCH, bạn sẽ không bao giờ chọn một mô hình có các thành phần GARCH, ngay cả khi có sự biến động ngẫu nhiên trong dữ liệu, vì nó không tăng . Về cơ bản, tôi đồng ý với bạn bằng cách cố gắng đưa ra ví dụ cụ thể.

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

— Zachary Blumenfeld