Kiểm tra thuộc tính bộ nhớ của chuỗi Markov

17

Tôi nghi ngờ rằng một loạt các chuỗi được quan sát là một chuỗi Markov ...

X = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & D & A \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & E \end{array})

$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$

Tuy nhiên, làm thế nào tôi có thể kiểm tra xem họ thực sự tôn trọng thuộc tính không nhớ của

P (X_{i} = x_{i} | X_{j} = x_{j}) ?

$P(X_i=x_i|X_j=x_j)?$

Hoặc ít nhất là chứng minh rằng họ là Markov trong tự nhiên? Lưu ý đây là những chuỗi quan sát thực nghiệm. Có suy nghĩ gì không?

BIÊN TẬP

Chỉ cần thêm, mục đích là để so sánh một chuỗi trình tự dự đoán từ những chuỗi được quan sát. Vì vậy, chúng tôi đánh giá cao ý kiến về cách tốt nhất để so sánh chúng.

Ma trận chuyển đổi thứ tự đầu tiên

M_{i j} = \frac{x_{i} j}{\sum^{m} x_{i k}}

$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$ trong đó m = A..E trạng thái

M = (\begin{array}{ccccccc} 0.1834 & 0.3077 & 0.0769 & 0.1479 & 0.2840 \\ 0.4697 & 0.1136 & 0.0076 & 0.2500 & 0.1591 \\ 0.1827 & 0.2404 & 0.2212 & 0.1923 & 0.1635 \\ 0.2378 & 0.1818 & 0.0629 & 0.3357 & 0.1818 \\ 0.2458 & 0.1788 & 0.1173 & 0.1788 & 0.2793 \end{array})

$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$

Giá trị riêng của M

E = (\begin{array}{ccccccc} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & - 0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0 \\ 0 & 0 & 0 & 0.1136 - 0.0430 i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430 i \end{array})

$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$

Eigenvector của M

V = (\begin{array}{ccccccc} 0.4472 & - 0.5852 & - 0.4219 & - 0.2343 - 0.0421 i & - 0.2343 + 0.0421 i \\ 0.4472 & 0.7838 & - 0.4211 & - 0.4479 - 0.2723 i & - 0.4479 + 0.2723 i \\ 0.4472 & - 0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & - 0.0010 & 0.7089 & 0.2123 - 0.0908 i & 0.2123 + 0.0908 i \\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881 i & 0.2546 - 0.3881 i \end{array})

$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$

markov-process

— HCAI
nguồn

Các cột chứa chuỗi, và các hàng các phần tử của chuỗi? Số lượng hàng và cột quan sát là gì?

— mpiktas

2

Có thể trùng lặp: stats.stackexchange.com/questions/29490/ từ

— mpiktas

@mpiktas Các hàng biểu thị các chuỗi được quan sát độc lập của các chuyển tiếp qua các trạng thái AD. Có khoảng 400 trình tự ... Hãy nhớ rằng các trình tự được quan sát không phải là tất cả cùng độ dài. Trong thực tế, ma trận trên trong nhiều trường hợp được tăng thêm bằng số không. Cảm ơn bạn đã liên kết bằng cách này. Dường như vẫn còn nhiều chỗ cho công việc trong lĩnh vực này. Bạn có suy nghĩ gì thêm không? Trân trọng,

— HCAI

1

Hồi quy tuyến tính là một ví dụ để củng cố quan điểm của tôi. Tức là bạn có thể không cần kiểm tra trực tiếp thuộc tính Markov, bạn chỉ cần lắp một số modem giả định thuộc tính Markov và sau đó kiểm tra tính hợp lệ của mô hình.

— mpiktas

1

Tôi mơ hồ nhớ rằng tôi đã thấy ở đâu đó một bài kiểm tra giả thuyết cho H0 = {Markov} so với H1 = {Markov order 2}. Điều này có thể giúp đỡ.

— Stéphane Laurent

5

Tôi tự hỏi nếu sau đây sẽ cho một bài kiểm tra Pearson hợp lệ cho các tỷ lệ như sau. $\chi^2$

Ước tính xác suất chuyển tiếp một bước - bạn đã thực hiện điều đó.
Có được xác suất mô hình hai bước: ${\hat{p}}_{U, V} = P r o b [X_{i + 2} = U | X_{i} = V] = \sum_{W \in {A, B, C, D}} P r o b [X_{i + 2} = U | X_{i + 1} = W] P r o b [X_{i + 1} = W | X_{i} = V]$ $\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$
Có được xác suất theo kinh nghiệm hai bước ${\tilde{p}}_{U, V} = \frac{\sum_{i} # X_{i} = V, X_{i + 2} = U}{\sum_{i} # X_{i} = V}$ $\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$
Biểu mẫu thống kê kiểm tra Pearson $T_{V} = # {X_{i} = V} \sum_{U} \frac{({\hat{p}}_{U, V} - {\tilde{p}}_{U, V})^{2}}{{\hat{p}}_{U, V}}, T = T_{A} + T_{B} + T_{C} + T_{D}$ $T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$

Thật hấp dẫn đối với tôi khi nghĩ rằng mỗi , sao cho tổng . Tuy nhiên, tôi không hoàn toàn chắc chắn về điều đó, và sẽ đánh giá cao suy nghĩ của bạn về điều này. Tôi cũng không đồng ý về việc liệu người ta có cần phải hoang tưởng về sự độc lập hay không, và muốn chia mẫu thành hai nửa để ước tính và . $T_U \sim \chi^2_3$ $T\sim \chi^2_{12}$ $\hat p$ $\bar p$

— StasK
nguồn

Không có xác suất phải có phân phối bình thường với trung bình 0 và phương sai = 1 để giữ điều này? Tôi rất muốn biết những gì mọi người nghĩ ở đây.

— HCAI

Đó là những gì các điều khoản trong tổng số được cho là, không có triệu chứng với số lượng lớn.

— StasK

6

Tài sản Markov có thể khó kiểm tra trực tiếp. Nhưng nó có thể đủ để phù hợp với một mô hình giả định thuộc tính Markov và sau đó kiểm tra xem mô hình đó có giữ hay không. Nó có thể chỉ ra rằng mô hình được trang bị là một xấp xỉ tốt, rất hữu ích cho bạn trong thực tế và bạn không cần phải quan tâm liệu tài sản của Markov có thực sự nắm giữ hay không.

Các song song có thể được rút ra để hồi quy tuyến tính. Thực tế thông thường không phải là kiểm tra xem tuyến tính có giữ hay không, mà là mô hình tuyến tính có phải là một xấp xỉ hữu ích hay không.

— mpiktas
nguồn

Đây có vẻ là tùy chọn tốt nhất trong thực tế, chỉ có tôi thực sự không thể so sánh một mô hình tuyến tính với bất kỳ dữ liệu thử nghiệm thực tế nào. Hay bạn đã có một cái gì đó khác trong tâm trí?

— HCAI

6

Để cụ thể hóa đề xuất của câu trả lời trước, trước tiên bạn muốn ước tính xác suất của Markov - giả sử đó là Markov. Xem trả lời tại đây Ước tính Xác suất Chuỗi Markov

Bạn sẽ nhận được một ma trận 4 x 4 dựa trên tỷ lệ chuyển từ trạng thái A đến A, A đến B vv Gọi ma trận này . sau đó phải là ma trận chuyển tiếp hai bước: A sang A trong 2 bước, v.v. Sau đó, bạn có thể kiểm tra xem ma trận chuyển tiếp 2 bước quan sát của bạn có giống với . $M$ $M^2$ $M^2$

Vì bạn có rất nhiều dữ liệu cho số lượng trạng thái, bạn có thể ước tính từ một nửa dữ liệu và kiểm tra bằng nửa còn lại - bạn đang kiểm tra tần số quan sát dựa trên xác suất lý thuyết của đa quốc gia. Điều đó sẽ cho bạn một ý tưởng về việc bạn đang ở bao xa. $M$ $M^2$

Một khả năng khác là để xem liệu tỷ lệ trạng thái cơ bản: tỷ lệ thời gian dành cho A, thời gian dành cho B, có khớp với hàm riêng của giá trị riêng của đơn vị M. Nếu chuỗi của bạn đã đạt đến một trạng thái ổn định nào đó, tỷ lệ thời gian trong mỗi nhà nước nên có xu hướng đến giới hạn đó.

— Dấu phẩy
nguồn

Có một chút gì đó để thực hiện. Tôi đã tính toán ma trận chuyển tiếp

, nhưng tôi không chắc bạn sẽ tính toán

theo kinh nghiệm như thế nào . Bạn có thể làm rõ điểm đó? Trân trọng,

M

$M$

M^{2}

$M^2$

— HCAI

Ngoài ra, nhận xét sau rất thú vị, mặc dù tôi không có thời gian ở mỗi trạng thái của các chuỗi được quan sát. Tôi chỉ có tổng thời gian cho mỗi hàng. Vì vậy, có thể hạn chế khả năng áp dụng của phương pháp đó. Quan điểm của bạn là gì?

— HCAI

1

Làm điều đó giống như cách bạn đã làm M, chỉ thay vì nhìn vào các chuyển tiếp lân cận gần nhất, (giả sử, trình tự AB), nhìn vào các cặp cách nhau 2. Vì vậy, nếu một đối tượng đi vào ACB, điều đó sẽ được tính vào số lần chuyển tiếp AB của bạn. ABB cũng vậy. Tạo một ma trận trong đó mục trong hàng i, cột j chứa các chuyển đổi từ i đến j. Sau đó chia cho tổng số cột. Bạn muốn các cột có tổng bằng 1. Trong thuộc tính Markov, ma trận này phải gần với

M^{2}

$M^2$

— Placidia

RE: cân bằng. Tôi đã giả định rằng các chuyển đổi xảy ra tại các thời điểm đã đặt - giả sử mỗi giây, bạn chuyển từ trạng thái hiện tại sang trạng thái tiếp theo. Bạn có thể lấy tần số của các trạng thái A, B, C và D ở gần cuối của chuỗi hoặc trên các chuỗi để ước tính hành vi giới hạn.

— Placidia

Trong R, nếu bạn làm eigen (M), bạn sẽ nhận được giá trị riêng và hàm riêng của M. Một giá trị riêng sẽ là 1. Trình xác định tương ứng phải tỷ lệ thuận với tỷ lệ trạng thái ổn định của bạn .... nếu Markov.

— Placidia

2

Ngoài Markov Property (MP), một thuộc tính nữa là Time Homogeneity (TH): có thể là Markov nhưng với ma trận chuyển tiếp tùy thuộc vào thời gian . Ví dụ, nó có thể phụ thuộc vào các ngày trong tuần tại nếu quan sát được hàng ngày, và sau đó một sự phụ thuộc trên điều kiện trên có thể được chẩn đoán nếu TH là quá mức giả định. $X_t$ $\mathbf{P}(t)$ $t$ $t$ $X_t$ $X_{t-7}$ $X_{t-1}$

Giả sử TH giữ, một kiểm tra khả dĩ cho MP đang kiểm tra xem độc lập với điều kiện trên , như Michael Chernick và StasK đề xuất. Điều này có thể được thực hiện bằng cách sử dụng một bài kiểm tra cho bảng dự phòng. Chúng ta có thể xây dựng bảng dự phòng của và điều kiện trên cho giá trị có thể $X_t$ $X_{t-2}$ $X_{t-1}$ $n$ $X_t$ $X_{t-2}$ $\{X_{t-1} = x_j\}$ $n$ $x_j$ và kiểm tra tính độc lập Đây cũng có thể được thực hiện bằng với ở vị trí của . $X_{t-\ell}$ $\ell > 1$ $X_{t-2}$

Trong R, các bảng hoặc mảng dự phòng dễ dàng được tạo ra nhờ vào cơ sở nhân tố và các hàm apply, sweep. Ý tưởng trên cũng có thể được khai thác bằng đồ họa. Các gói ggplot2 hoặc mạng dễ dàng cung cấp các ô có điều kiện để so sánh các phân phối có điều kiện . Ví dụ, đặt làm chỉ mục hàng và $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$ $i$ $j$ vì chỉ mục cột trong lưới mắt cáo nên theo MP dẫn đến các phân phối tương tự trong một cột.

Các chap. 5 của cuốn sách Phân tích thống kê về các quá trình ngẫu nhiên theo thời gian của JK Lindsey chứa các ý tưởng khác để kiểm tra các giả định.

enter image description here

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

— Yves
nguồn

2

Tôi nghĩ rằng placida và mpiktas đều đã đưa ra những cách tiếp cận rất chu đáo và tuyệt vời.

$P(X_i=x|X_{i-1}=y)$ $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$

$x$ $y$ $z$ $z$ $y$ $x$ $z$ $y$ $x$ $x$ $y$ $x$ $x$

Sau đó, thống kê kiểm tra sẽ là sự khác biệt giữa các tỷ lệ ước tính này. Sự phức tạp để so sánh tiêu chuẩn của trình tự Bernoulli là chúng có mối tương quan với nhau. Nhưng bạn có thể làm một bài kiểm tra bootstrap về tỷ lệ nhị thức trong trường hợp này.

$0$ $1$ $(0,0)$ $(0,1)$ $(1,0)$ $(1,1)$

— Michael R. Chernick
nguồn

P (X_{i} | X_{i - 1} = y)

$P(X_i|X_{i-1}=y)$

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

i \to j \to i

$i\rightarrow j\rightarrow i$

i \to j \to k \to i

$i\rightarrow j\rightarrow k\rightarrow i$

1

$\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$

V a r [E (X_{n + 1} | X_{n}, X_{n - k}) | X_{n}] = V a r [X_{n + 1} | X_{n}] - E (V a r [X_{n + 1} | X_{n}])

$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$

The LHS, if it is almost zero, provides evidence that the transition probabilities do not depend on $X_{n-k}$ , though it is clearly a weaker statement: e.g., let $X_{n+1}\sim N(X_n,X_{n-1})$ . Taking the expected value of both sides of the above equation, the RHS can be computed from the sample variances (i.e., replacing expected values with averages). If the expected value of the variance is zero then the variance is 0 almost always.

— Luke O'Connor
nguồn