Thử nghiệm tự động tương quan: Ljung-Box so với Breusch-Godfrey

35

Tôi đã từng thấy thử nghiệm Ljung-Box được sử dụng khá thường xuyên để kiểm tra tự động tương quan trong dữ liệu thô hoặc trong phần dư của mô hình. Tôi gần như đã quên rằng có một thử nghiệm khác cho sự tự tương quan, đó là thử nghiệm Breusch-Godfrey.

Câu hỏi: sự khác biệt và điểm tương đồng chính của các bài kiểm tra Ljung-Box và Breusch-Godfrey là gì, và khi nào nên ưu tiên hơn các bài kiểm tra khác?

(Tài liệu tham khảo được chào đón. Bằng cách nào đó tôi không thể tìm thấy bất kỳ so sánh nào của hai bài kiểm tra mặc dù tôi đã tìm trong một vài cuốn sách giáo khoa và tìm kiếm tài liệu trực tuyến. Tôi có thể tìm thấy các mô tả của từng bài kiểm tra một cách riêng biệt , nhưng điều tôi quan tâm là sự so sánh của hai.)

time-series hypothesis-testing autocorrelation

— Richard Hardy
nguồn

36

Có một số tiếng nói mạnh mẽ trong cộng đồng Kinh tế lượng chống lại tính hợp lệ của Ljung-Box -statistic để kiểm tra tự động dựa trên các phần dư từ một mô hình tự phát (ví dụ với các biến phụ thuộc bị trễ trong ma trận hồi quy), xem đặc biệt là Maddala (2001) "Giới thiệu về Kinh tế lượng (phiên bản 3d), ch 6.7 và 13. 5 trang 528. Maddala thực sự than vãn về việc sử dụng rộng rãi thử nghiệm này, và thay vào đó xem xét thử nghiệm" Langrange Multiplier "của Breusch và Godfrey. $Q$

Lập luận của Maddala chống lại thử nghiệm Ljung-Box cũng giống như cuộc tranh luận về một thử nghiệm tự tương quan toàn diện khác, "Durbin-Watson": với các biến phụ thuộc bị trễ trong ma trận hồi quy, thử nghiệm được thiên vị trong việc duy trì giả thuyết null "Không tự tương quan" (kết quả Monte-Carlo thu được trong @javlacalle trả lời ám chỉ thực tế này). Maddala cũng đề cập đến sức mạnh thấp của bài kiểm tra, xem ví dụ Davies, N., & Newbold, P. (1979). Một số nghiên cứu sức mạnh của một thử nghiệm portmanteau về đặc tả mô hình chuỗi thời gian. Biometrika, 66 (1), 153-155 .

Hayashi (2000) , ch. 2.10 "Kiểm tra tương quan nối tiếp" , trình bày một phân tích lý thuyết thống nhất và tôi tin rằng, làm rõ vấn đề. Hayashi bắt đầu từ con số 0: ĐểL-Box-statistic được phân phối không có triệu chứng dưới dạng hình vuông chi, đó phải là trường hợp quy trình(bất cứ điều gìđại diện), mà chúng tôi tự động đưa vào thống kê là, theo giả thuyết khống về việc không tự tương quan, một chuỗi khác biệt martingale, nghĩa là nó thỏa mãn $Q$ $\{z_t\}$ $z$

E (z_{t} | z_{t - 1}, z_{t - 2}, . . .) = = 0

$E(z_t \mid z_{t-1}, z_{t-2},...) = 0$

và nó cũng thể hiện tính đồng nhất có điều kiện "của riêng"

E (z_{t}^{2} | z_{t - 1}, z_{t - 2}, . . .) = = σ^{2} > 0

$E(z^2_t \mid z_{t-1}, z_{t-2},...) = \sigma^2 >0$

Trong các điều kiện này, Ljung-Box -statistic (là một biến thể mẫu được sửa cho hữu hạn của mẫu Box-Pierce -statistic ban đầu ), có phân phối không bình phương, và việc sử dụng nó có sự bất hợp lý. $Q$ $Q$

Giả sử bây giờ chúng ta đã chỉ định một mô hình tự phát (có lẽ bao gồm cả các biến hồi quy độc lập bên cạnh các biến phụ thuộc bị trễ), giả sử

y_{t} = = x_{t}^{'} β + φ (L) y_{t} + {bạn}_{t}

$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$

Trong đó là một đa thức trong toán tử độ trễ và chúng tôi muốn kiểm tra mối tương quan nối tiếp bằng cách sử dụng phần dư của ước lượng. Vì vậy, ở đây . $\phi(L)$ $z_t \equiv \hat u_t$

Hayashi cho thấy rằng để tạo ra -statistic Ljung-Box dựa trên sự tự tương quan mẫu của các phần dư, để có một phân phối chi bình phương không có triệu chứng theo giả thuyết không có tương quan tự động, thì đó phải là trường hợp tất cả các biến hồi quy "Theo thuật ngữ lỗi theo nghĩa sau: $Q$

E (x_{t} \cdot {bạn}_{S}) = = 0, E (y_{t} \cdot {bạn}_{S}) = = 0 \forall t, S

$E(\mathbf x_t\cdot u_s) = 0 ,\;\; E(y_t\cdot u_s)=0 \;\;\forall t,s$

"Đối với tất cả " là yêu cầu quan trọng ở đây, một yêu cầu phản ánh tính ngoại lệ nghiêm ngặt. Và nó không giữ khi các biến phụ thuộc bị trễ tồn tại trong ma trận hồi quy. Điều này dễ dàng nhận thấy: đặt và sau đó $t,s$ $s= t-1$

E [y_{t} {bạn}_{t - 1}] = = E [(x_{t}^{'} β + φ (L) y_{t} + {bạn}_{t}) {bạn}_{t - 1}] = =

$E[y_t u_{t-1}] = E[(\mathbf x_t'\beta + \phi(L)y_t + u_t)u_{t-1}] =$

E [x_{t}^{'} β \cdot {bạn}_{t - 1}] + E [φ (L) y_{t} \cdot {bạn}_{t - 1}] + E [{bạn}_{t} \cdot {bạn}_{t - 1}] \neq 0

$E[\mathbf x_t'\beta \cdot u_{t-1}]+ E[\phi(L)y_t \cdot u_{t-1}]+E[u_t \cdot u_{t-1}] \neq 0$

ngay cả khi các không phụ thuộc vào thuật ngữ lỗi và ngay cả khi thuật ngữ lỗi không có tự động sửa lỗi : thuật ngữ không bằng không. $X$ $E[\phi(L)y_t \cdot u_{t-1}]$

Nhưng điều này chứng tỏ rằng thống kê Ljung-Box không hợp lệ trong mô hình tự phát, bởi vì không thể nói rằng nó có phân phối chi bình phương không có triệu chứng dưới giá trị null. $Q$

Giả sử bây giờ rằng một điều kiện yếu hơn so với tính ngoại sinh nghiêm ngặt được thỏa mãn, cụ thể là

E ({bạn}_{t} | x_{t}, x_{t - 1}, . . ., φ (L) y_{t}, {bạn}_{t - 1}, {bạn}_{t - 2}, . . .) = = 0

$E(u_t \mid \mathbf x_t, \mathbf x_{t-1},...,\phi(L)y_t, u_{t-1}, u_{t-2},...) = 0$

Điểm mạnh của điều kiện này là "nằm giữa" tính ngoại sinh và tính trực giao nghiêm ngặt. Trong trường hợp không có sự tương quan tự động của thuật ngữ lỗi, điều kiện này được "tự động" thỏa mãn bởi một mô hình tự phát, đối với các biến phụ thuộc bị trễ (đối với khóa , tất nhiên phải được giả định riêng). $X$

Sau đó, tồn tại một thống kê khác dựa trên sự tự tương quan mẫu còn lại, ( không phải là Ljung - Box one), có phân phối chi bình phương không có triệu chứng dưới giá trị null. Thống kê khác này có thể được tính toán, một cách thuận tiện, bằng cách sử dụng tuyến đường "hồi quy phụ trợ": hồi quy các phần dư trên ma trận hồi quy đầy đủ và trên các phần dư trước đây (cho đến độ trễ mà chúng ta đã sử dụng trong thông số kỹ thuật ), có được uncentered từ hồi quy auxilliary này và nhân nó bởi kích thước mẫu. $\{\hat u_t\}$ $R^2$

Thống kê này được sử dụng trong cái mà chúng ta gọi là "phép thử Breusch - Godfrey cho mối tương quan nối tiếp" .

Sau đó, có vẻ như, khi các biến hồi quy bao gồm các biến phụ thuộc bị trễ (và trong tất cả các trường hợp mô hình tự phát cũng vậy), thử nghiệm Ljung-Box nên được bỏ qua để ủng hộ thử nghiệm LM Breusch-Godfrey. , không phải vì "nó hoạt động kém hơn", mà bởi vì nó không sở hữu sự biện minh không có triệu chứng. Khá là một kết quả ấn tượng, đặc biệt là đánh giá từ sự hiện diện phổ biến và ứng dụng trước đây.

CẬP NHẬT: Trả lời những nghi ngờ được nêu ra trong các nhận xét về việc liệu tất cả các điều trên có áp dụng cho các mô hình chuỗi thời gian "thuần túy" hay không (tức là không có " " -regressors), tôi đã đăng một bài kiểm tra chi tiết cho mô hình AR (1), trong https://stats.stackexchange.com/a/205262/28746 . $x$

— Alecos Papadopoulos
nguồn

Rất ấn tượng, Alecos! Giải thích tuyệt vời! Cảm ơn bạn rất nhiều! (Tôi hy vọng nhiều người sẽ đọc câu trả lời của bạn cuối cùng và sẽ được hưởng lợi từ nó trong công việc hoặc nghiên cứu của họ.)

— Richard Hardy

+1 Rất thú vị. Dự đoán ban đầu của tôi là trong một mô hình AR, việc phân phối thử nghiệm BG có thể bị biến dạng, nhưng như bạn đã giải thích và bài tập mô phỏng đề xuất, đó là thử nghiệm LB bị ảnh hưởng nghiêm trọng hơn.

— javlacalle

Vấn đề với câu trả lời của bạn là nó dựa trên giả định rằng chúng ta đang xử lý mô hình giống như ARMAX, tức là với các biến hồi quy

. không phải là chuỗi thời gian thuần túy như AR.

x_{t}

$x_t$

— Aksakal

1

@Aksakal, Ngoài ra, một phần của vấn đề có thể là trọng tâm đang nhảy một chút ở đây và đó. Chúng ta nên phân tách các vấn đề của (1) thử nghiệm nào tốt hơn (2) thử nghiệm nào hoạt động theo giả định nào và quan trọng là (3) thử nghiệm nào hoạt động cho mô hình nào (do các giả định mô hình khác nhau). Câu hỏi sau có lẽ là câu hỏi hữu ích nhất cho các học viên. Ví dụ, tôi sẽ không sử dụng LB cho phần dư của mô hình ARMA vì những gì Alecos đã thể hiện. Bạn có cho rằng LB vẫn có thể được sử dụng cho phần dư của các mô hình ARMA (hiện tại cũng là câu hỏi trung tâm trong luồng khác) không?

— Richard Hardy

1

@Alexis Và đó là một nhận xét gần như quá tâng bốc là đúng. Cảm ơn bạn.

— Alecos Papadopoulos

12

Phỏng đoán

Tôi không biết về bất kỳ nghiên cứu nào so sánh các xét nghiệm này. Tôi đã nghi ngờ rằng thử nghiệm Ljung-Box phù hợp hơn trong bối cảnh các mô hình chuỗi thời gian như mô hình ARIMA, trong đó các biến giải thích là độ trễ của các biến phụ thuộc. Thử nghiệm Breusch - Godfrey có thể phù hợp hơn cho mô hình hồi quy tổng quát nơi các giả định cổ điển được đáp ứng (đặc biệt là các hồi quy ngoại sinh).

Giả thuyết của tôi là việc phân phối thử nghiệm Breusch - Godfrey (dựa trên phần dư từ hồi quy được trang bị bởi Bình phương tối thiểu thông thường), có thể bị ảnh hưởng bởi thực tế là các biến giải thích không phải là ngoại sinh.

Tôi đã thực hiện một bài tập mô phỏng nhỏ để kiểm tra điều này và kết quả cho thấy điều ngược lại: thử nghiệm Breusch-Godfrey thực hiện tốt hơn thử nghiệm Ljung-Box khi thử nghiệm tự động tương quan trong phần dư của mô hình tự phát. Chi tiết và mã R để tái tạo hoặc sửa đổi bài tập được đưa ra dưới đây.

Bài tập mô phỏng nhỏ

Một ứng dụng điển hình của thử nghiệm Ljung-Box là kiểm tra mối tương quan nối tiếp trong phần dư từ mô hình ARIMA được trang bị. Ở đây, tôi tạo dữ liệu từ mô hình AR (3) và phù hợp với mô hình AR (3).

Phần dư đáp ứng giả thuyết không có giá trị tự tương quan, do đó, chúng tôi sẽ mong đợi các giá trị p được phân phối đồng đều. Giả thuyết khống nên bị bác bỏ trong một tỷ lệ phần trăm các trường hợp gần với mức ý nghĩa được chọn, ví dụ 5%.

Thử nghiệm Ljung-Box:

## Ljung-Box test
n <- 200 # number of observations
niter <- 5000 # number of iterations
LB.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  resid <- residuals(arima(x, order=c(3,0,0)))
  # Store p-value of the Ljung-Box for different lag orders
  LB.pvals[i,1] <- Box.test(resid, lag=1, type="Ljung-Box")$p.value
  LB.pvals[i,2] <- Box.test(resid, lag=2, type="Ljung-Box")$p.value
  LB.pvals[i,3] <- Box.test(resid, lag=3, type="Ljung-Box")$p.value
  LB.pvals[i,4] <- Box.test(resid, lag=4, type="Ljung-Box", fitdf=3)$p.value
}
sum(LB.pvals[,1] < 0.05)/niter
# [1] 0
sum(LB.pvals[,2] < 0.05)/niter
# [1] 0
sum(LB.pvals[,3] < 0.05)/niter
# [1] 0
sum(LB.pvals[,4] < 0.05)/niter
# [1] 0.0644
par(mfrow=c(2,2))
hist(LB.pvals[,1]); hist(LB.pvals[,2]); hist(LB.pvals[,3]); hist(LB.pvals[,4])

Giá trị p thử nghiệm Ljung-Box

Kết quả cho thấy giả thuyết null bị bác bỏ trong những trường hợp rất hiếm. Đối với mức 5%, tỷ lệ từ chối thấp hơn nhiều so với 5%. Việc phân phối các giá trị p cho thấy sự thiên vị đối với việc không từ chối null.

Chỉnh sửa Về nguyên tắc fitdf=3nên được đặt trong mọi trường hợp. Điều này sẽ tính đến mức độ tự do bị mất sau khi lắp mô hình AR (3) để lấy phần dư. Tuy nhiên, đối với độ trễ của đơn hàng thấp hơn 4, điều này sẽ dẫn đến mức độ tự do âm hoặc bằng 0, khiến bài kiểm tra không thể áp dụng. Theo tài liệu ?stats::Box.test: Các thử nghiệm này đôi khi được áp dụng cho các phần dư từ ARMA (p, q) phù hợp, trong trường hợp đó, các tham chiếu cho thấy sự gần đúng tốt hơn đối với phân phối giả thuyết null có được bằng cách cài đặt fitdf = p+q, tất nhiên là được cung cấp lag > fitdf.

Thử nghiệm Breusch-Godfrey:

## Breusch-Godfrey test
require("lmtest")
n <- 200 # number of observations
niter <- 5000 # number of iterations
BG.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  # create explanatory variables, lags of the dependent variable
  Mlags <- cbind(
    filter(x, c(0,1), method= "conv", sides=1),
    filter(x, c(0,0,1), method= "conv", sides=1),
    filter(x, c(0,0,0,1), method= "conv", sides=1))
  colnames(Mlags) <- paste("lag", seq_len(ncol(Mlags)))
  # store p-value of the Breusch-Godfrey test
  BG.pvals[i,1] <- bgtest(x ~ 1+Mlags, order=1, type="F", fill=NA)$p.value
  BG.pvals[i,2] <- bgtest(x ~ 1+Mlags, order=2, type="F", fill=NA)$p.value
  BG.pvals[i,3] <- bgtest(x ~ 1+Mlags, order=3, type="F", fill=NA)$p.value
  BG.pvals[i,4] <- bgtest(x ~ 1+Mlags, order=4, type="F", fill=NA)$p.value
}
sum(BG.pvals[,1] < 0.05)/niter
# [1] 0.0476
sum(BG.pvals[,2] < 0.05)/niter
# [1] 0.0438
sum(BG.pvals[,3] < 0.05)/niter
# [1] 0.047
sum(BG.pvals[,4] < 0.05)/niter
# [1] 0.0468
par(mfrow=c(2,2))
hist(BG.pvals[,1]); hist(BG.pvals[,2]); hist(BG.pvals[,3]); hist(BG.pvals[,4])

Giá trị p thử nghiệm Breusch-Godfrey

Các kết quả cho thử nghiệm Breusch-Godfrey trông hợp lý hơn. Các giá trị p được phân phối đồng đều và tỷ lệ loại bỏ gần với mức ý nghĩa hơn (như mong đợi theo giả thuyết null).

— javlacalle
nguồn

1

LB.pvals[i,j]

j \in {1, 2, 3}

$j \in \{1,2,3\}$

j ⩽ 3

$j \leqslant 3$ fitdf=3

j \in {1, 2, 3}

$j \in \{1,2,3\}$

Ngoài ra, liên quan đến những gì bạn nói trong đoạn đầu tiên: có lẽ bạn có thể mở rộng về điều đó một chút không? Tôi nhận thấy các tuyên bố ở đó là khá quan trọng, nhưng các chi tiết còn thiếu. Tôi có thể yêu cầu quá nhiều - để "tiêu hóa" mọi thứ cho tôi - nhưng nếu điều đó không quá khó khăn với bạn, tôi sẽ đánh giá cao điều đó.

— Richard Hardy

1

n

$n$

χ^{2} (1)

$\chi^2 (1)$

χ^{2} (n)

$\chi^2 (n)$

n

$n$

χ^{2} (1)

$\chi^2 (1)$

k

$k$

χ^{2} (n - k)

$\chi^2 (n-k)$

k ⩾ n

$k \geqslant n$

k

$k$

1

k

$k$ lag<fitdf

1

Nói tóm lại, khi bạn nói độ trễ của trật tự thấp hơn 4, điều này sẽ dẫn đến mức độ tự do âm hoặc bằng 0, khiến bài kiểm tra không thể áp dụng , tôi nghĩ bạn nên đưa ra một kết luận khác: không sử dụng bài kiểm tra cho những độ trễ đó. Nếu bạn tiến hành bằng cách fitdf=0thay thế fitdf=3bạn có thể đang tự lừa dối chính mình.

— Richard Hardy

2

Greene (Phân tích kinh tế lượng, tái bản lần thứ 7, trang 963, phần 20.7.2):

$X$ $e_t$ $x_t$ $e_s$ $x_t$

(Tôi biết rằng câu hỏi hỏi về Ljung-Box và câu hỏi trên đề cập đến Box-Pierce, nhưng câu hỏi trước là một sàng lọc đơn giản của cái sau và do đó, mọi so sánh giữa GB và BP cũng sẽ được áp dụng để so sánh giữa GB và LB.)

Vì các câu trả lời khác đã được giải thích theo cách khắt khe hơn, Greene cũng gợi ý rằng không có gì để đạt được (ngoài hiệu quả tính toán có lẽ) từ việc sử dụng Ljung-Box so với Godfrey-Breusch nhưng có khả năng mất nhiều (tính hợp lệ của bài kiểm tra).

— Candamir
nguồn

0

Có vẻ như các thử nghiệm Box-Pierce và Ljung-Box chủ yếu là các thử nghiệm đơn biến, nhưng có một số giả định đằng sau thử nghiệm Breusch-Godfrey khi thử nghiệm nếu cấu trúc tuyến tính bị bỏ lại trong quá trình hồi quy chuỗi thời gian còn lại (quá trình MA hoặc AR).

Đây là liên kết để thảo luận:

http://www.stata.com/meeting/new-orleans13/abstracts/m vật liệu / nola13-baum.pdf

— Chuyên viên phân tích
nguồn

Tôi không hiểu ý nghĩa của câu vì ngữ pháp, tôi nghĩ vậy. Bạn có thể viết lại nó?

— Richard Hardy

0

Sự khác biệt chính giữa các bài kiểm tra là như sau:

Thử nghiệm Breusch-Godfrey giống như thử nghiệm Lagrange Multiplier xuất phát từ hàm khả năng (được chỉ định chính xác) (và do đó từ các nguyên tắc đầu tiên).
Thử nghiệm Ljung-Box dựa trên khoảnh khắc thứ hai của phần dư của một quá trình đứng yên (và do đó có tính chất tương đối nhiều hơn).

Bài kiểm tra Breusch-Godfrey giống như bài kiểm tra Lagrange Multiplier tương đương với các bài kiểm tra mạnh nhất. Như thể có thể, nó chỉ là tác động mạnh mẽ nhất đối với giả thuyết thay thế của các hồi quy bị bỏ qua (không phân biệt chúng có phải là biến bị trễ hay không). Điểm mạnh của thử nghiệm Ljung-Box có thể là sức mạnh của nó chống lại một loạt các giả thuyết thay thế.

— bmbb
nguồn