Làm thế nào để kiểm tra nếu một ma trận hiệp phương sai không khác không?

Nền tảng của nghiên cứu của tôi :

Trong một mẫu Gibbs trong đó chúng ta lấy mẫu (biến sở thích) và từ và , trong đó và là các vectơ ngẫu nhiên -chiều. Chúng tôi biết rằng quá trình này thường được chia thành hai giai đoạn: $X$ $Y$ $P(X|Y)$ $P(Y|X)$ $X$ $Y$ $k$

Thời kỳ Burn-in, nơi chúng tôi loại bỏ tất cả các mẫu. Suy ra các mẫu là và . $X_1\sim X_t$ $Y_1\sim Y_t$
Khoảng thời gian "Sau khi đốt cháy", trong đó chúng tôi lấy trung bình các mẫu là kết quả mong muốn cuối cùng của chúng tôi. $\bar{X} = \frac{1}{k}\sum_{i=1}^k X_{t+i}$

Tuy nhiên, các mẫu trong chuỗi "sau khi ghi" không được phân phối độc lập. Do đó, nếu tôi muốn kiểm tra phương sai của kết quả cuối cùng, nó sẽ trở thành $X_{t+1}\sim X_{t+k}$

Var [\bar{X}] = Var [\sum_{i = 1}^{k} X_{t + i}] = \frac{1}{k^{2}} (\sum_{i = 1}^{k} Var [X_{t + i}] + \sum_{i = 1}^{k - 1} \sum_{j = i + 1}^{k} Cov [X_{t + i}, X_{t + j}])

$\operatorname{Var}[\bar{X}] = \operatorname{Var}\left[\sum_{i=1}^k X_{t+i}\right] = \frac{1}{k^2}\left(\sum_{i=1}^k\operatorname{Var}[X_{t+i}] + \sum_{i=1}^{k-1} \sum_{j=i+1}^k \operatorname{Cov}[X_{t+i},X_{t+j}]\right)$

Ở đây thuật ngữ là ma trận hiệp phương sai áp dụng cho bất kỳ với . $\operatorname{Cov}[X_{t+i},X_{t+j}]$ $k\times k$ $(i,j)$ $i<j$

Ví dụ, tôi có

X_{t + 1} = (1, 2, 1)^{'} X_{t + 2} = (1, 0, 2)^{'} X_{t + 3} = (1, 0, 0)^{'} X_{t + 4} = (5, 0, - 1)^{'}

$X_{t+1} = (1,2,1)'\\ X_{t+2} = (1,0,2)'\\ X_{t+3} = (1,0,0)'\\ X_{t+4} = (5,0,-1)'$

sau đó tôi có thể ước tính ma trận hiệp phương sai với $\operatorname{Cov}[X_{t+i}, X_{t+i+1}]$

\frac{1}{3} \sum_{i = 1}^{3} (X_{t + i} - μ_{t + i}) (X_{t + i + 1} - μ_{t + i + 1})^{'}

$\frac{1}{3}\sum_{i=1}^3 (X_{t+i}-\mu_{t+i})(X_{t+i+1}-\mu_{t+i+1})'$

Bây giờ tôi quan tâm đến việc ước tính kết quả là khác không đáng kể vì vậy tôi cần đưa nó vào ước tính phương sai của tôi là . $\operatorname{Var}[\bar{X}]$

Vì vậy, đây là câu hỏi của tôi :

Chúng tôi lấy mẫu từ . Vì đang thay đổi, tôi nghĩ và không cùng phân phối, vì vậy không giống với . Là tuyên bố này đúng? $X_{t+i}$ $P(X_{t+i}|Y_{t+i})$ $Y_{t+i}$ $X_{t+i}$ $X_{t+i+1}$ $\operatorname{Cov}[X_{t+i},X_{t+j}]$ $\operatorname{Cov}[X_{t+i},X_{t+i}]$
Giả sử tôi có đủ dữ liệu để ước tính (các mẫu lân cận trong chuỗi), có cách nào để kiểm tra xem ma trận hiệp phương sai có đáng kể không Ma trận khác không? Nói rộng ra, tôi quan tâm đến một chỉ số hướng dẫn tôi một số ma trận hiệp phương sai có ý nghĩa cần được đưa vào ước lượng phương sai cuối cùng của tôi. $\operatorname{Cov}[X_{t+i},X_{t+i+1}]$

— TomHall
nguồn

Trên thực tế, bây giờ điều này có vẻ như là một câu hỏi hay; Tôi nghĩ rằng một số người khác sẽ có vị trí tốt hơn để đưa ra câu trả lời tốt hơn tôi, vì vậy tôi muốn quảng bá điều này (đặt tiền thưởng cho nó) khi nó đủ điều kiện trong thời gian ngắn. [Câu trả lời ngắn: 1. Hai hiệp phương sai này khác nhau. 2. Bạn không cần kiểm tra xem các biến thiên liên tiếp có tương quan hay không (trong tất cả các trường hợp tầm thường nhất; thuật toán hoạt động bằng cách tạo ra các biến thiên phụ thuộc) - thú vị hơn để đo lường mối tương quan so với kiểm tra nó;] ... nếu những câu trả lời hay không xuất hiện Tôi sẽ mở rộng những bình luận ngắn đó thành một câu trả lời đầy đủ

— Glen_b -Reinstate Monica

Có vẻ như câu hỏi của bạn rộng hơn nhiều so với câu hỏi tiêu đề của bạn. Cụ thể giải quyết câu hỏi tiêu đề của bạn, có bài kiểm tra tính toàn cầu của Bartlett cho phép kiểm tra xem ma trận hiệp phương sai mẫu có chéo không. Bạn có thể cần phải điều chỉnh nó theo kịch bản hiệp phương sai ("ma trận hiệp phương sai" của bạn thực sự không phải là ma trận hiệp phương sai, đó là một ma trận hiệp phương sai, đó là một khối chéo của ma trận hiệp phương sai đầy đủ của cả X_t và X_ { t + 1} với nhau). CC đến @Glen_b.

— amip nói rằng Phục hồi lại

Tôi sẽ thêm rằng hiệp phương sai có xu hướng phân rã ít nhiều về mặt hình học (ngày càng tăng khi bạn di chuyển xa nhau hơn); các giá trị cách xa nhau về thời gian có xu hướng tương quan rất thấp ( không phải bằng 0 nhưng phần lớn không thể biết được ) trong khi những giá trị gần nhau đôi khi có thể khá phụ thuộc.

— Glen_b -Reinstate Monica

@Tom 1. Tuy nhiên, với loạt văn phòng phẩm, ở độ trễ rất xa (4 không xa!), Điều gì xảy ra với ACF? 2. Bạn biết điều gì đó về cách các giá trị được tạo từ MCMC hoạt động mà bạn không thể nói về chuỗi thời gian tùy ý ... chúng là Markovian . Bạn sẽ lưu ý rằng những nhận xét trước đây của tôi không cho rằng độ trễ gần nhất phải thể hiện sự phân rã hình học (ví dụ: tôi không nói rằng không thể thấy mối tương quan cao hơn ở độ trễ 4 hơn 3). Bạn vẫn sẽ nhận được (nếu một số điều kiện nhất định) có xu hướng phân rã hình học trong ACF khi bạn di chuyển xa nhau.

$\quad$

— Glen_b -Reinstate Monica

Nếu thời gian lấy mẫu của bạn quá ngắn, bạn không có ước tính chính xác cao về hiệp phương sai, bạn có thể phải đối phó với thực tế là ước tính của bạn về các điều khoản hiệp phương sai có lỗi tiêu chuẩn rất lớn. Với sự hiểu biết hiện tại của tôi, tôi thậm chí còn mạnh mẽ hơn để khẳng định lại sự phản đối của mình để kiểm tra các mối tương quan. Kiểm tra giả thuyết cho tương quan 0 và không khác không giải quyết vấn đề của bạn ở đây.

— Glen_b -Reinstate Monica

Chúng tôi lấy mẫu từ . Vì đang thay đổi, tôi nghĩ và không cùng phân phối [...] $X_{t+i}$ $P(X_{t+i}|Y_{t+i})$ $Y_{t+i}$ $X_{t+i}$ $X_{t+i+1}$

Bạn đang nhầm lẫn phân phối có điều kiện và vô điều kiện ở đây, xem thêm nhận xét tiếp theo của tôi. Có điều kiện trên và , . Nhưng toàn bộ điểm xây dựng sampler Gibbs của bạn là mẫu từ phân phối văn phòng phẩm của và . Nói một cách đại khái, nếu bạn đã chạy chuỗi của mình đủ lâu và để tuân theo phân phối cố định, thì bạn có thể nói có nghĩa là phân phối vô điều kiện của cũng là bất biến. Nói cách khác, như $Y_{t+i} = y_1$ $Y_{t+i+1} = y_2$ $P(X_{t+i}|Y_{t+i} = y_1) \neq P(X_{t+i+1}|Y_{t+i+1} = y_2)$ $X$ $Y$ $\{Y_t\}$

\begin{aligned} P (X_{t}) = \int_{Y} P (X_{t} | Y_{t}) d P (Y_{t}), \end{aligned}

$\begin{align} P(X_t) = \int_{\mathcal{Y}}P(X_t|Y_t)dP(Y_t), \end{align}$

X_{t}

$X_t$

t \to \infty

$t \to \infty$ và chúng tôi hội tụ đến các bản phân phối cố định, , vì và sẽ được rút ra một cách bất thường từ (cùng!) phân phối văn phòng phẩm . Mặt khác và như trước đây, một khi chúng ta tạo điều kiện cho và , điều này sẽ không giữ được nữa, bất kể lớn đến mức nào .

P (X_{t + i} | Y_{t + i}) = P (X_{t + i + 1} | Y_{t + i + 1})

$P(X_{t+i}|Y_{t+i}) = P(X_{t+i+1}|Y_{t+i+1})$

Y_{t + i}

$Y_{t+i}$

Y_{t + i + 1}

$Y_{t+i+1}$

P (Y_{t})

$P(Y_t)$

Y_{t + i} = y_{1}

$Y_{t+i} = y_1$

Y_{t + i + 1} = y_{2}

$Y_{t+i+1} = y_2$

t

$t$

[...] vì vậy không giống với . Là tuyên bố này đúng? $\operatorname{Cov}[X_{t+i},X_{t+j}]$ $\operatorname{Cov}[X_{t+i},X_{t+i}]$

Đúng, điều này là chính xác - mặc dù , tức là và có cùng phân phối văn phòng phẩm. Tôi biết điều này có thể gây nhầm lẫn, nhưng chịu đựng tôi. Xác định với . Bằng cách thay thế lặp đi lặp lại, người ta có thể chỉ ra rằng và vì (các số vô hạn) của các quy tắc vẫn bình thường, nên nó giữ và do đó . Rõ ràng, và $X_{t+1} \sim X_{t}$ $X_t$ $X_{t+1}$ $Y_t = 0.8\cdot Y_{t-1} + \varepsilon_t$ $\varepsilon_t \overset{iid}{\sim} N(0,1)$ $Y_t = \sum_{i=0}^t0.8^i \varepsilon_{t-i}$ $\text{Var}(Y_t) = \sum_{i=0}^t0.8^{2i} = \dfrac{1}{1-0.8^2}$ $Y_t \overset{iid}{\sim} N(0, \dfrac{1}{1-0.8^2})$ $Y_t$ $Y_{t+1}$ vẫn sẽ tương quan, nhưng chúng cũng sẽ đến từ cùng một phân phối ( ). Một tình huống tương tự giữ cho của bạn . $Y_{t+1} \sim Y_{t}$ $X_t$

Giả sử tôi có đủ dữ liệu để ước tính (các mẫu lân cận trong chuỗi), có cách nào để kiểm tra xem ma trận hiệp phương sai có đáng kể không Ma trận khác không? Nói rộng ra, tôi quan tâm đến một chỉ số hướng dẫn tôi một số ma trận hiệp phương sai có ý nghĩa cần được đưa vào ước lượng phương sai cuối cùng của tôi. $\operatorname{Cov}[X_{t+i},X_{t+i+1}]$

Chà, nếu bạn có vô số quan sát, tất cả chúng sẽ có ý nghĩa cuối cùng. Rõ ràng, bạn không thể làm điều này trong thực tế, nhưng có nhiều cách 'băm nhỏ' việc mở rộng sau một số điều khoản, xem câu trả lời xuất sắc được chấp nhận ở đây. Về cơ bản, bạn xác định hạt nhân phân rã thành và gán trọng số cho ma trận hiệp phương sai đầu tiên mà bạn có thể tính toán. Nếu bạn muốn chọn theo cách nguyên tắc, bạn sẽ phải đào sâu một chút vào tài liệu, nhưng bài đăng tôi liên kết cung cấp cho bạn một số tài liệu tham khảo tốt để làm chính xác điều đó. $k(\cdot)$ $0$ $l_T$ $l_T$

— Jeremias K
nguồn