Phát hiện thay đổi trực tuyến Bayes (phân phối dự báo cận biên)

Tôi đang đọc bài phát hiện thay đổi trực tuyến Bayes của Adams và MacKay ( liên kết ).

Các tác giả bắt đầu bằng cách viết phân phối dự báo cận biên: trong đó

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) (1)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$

$x_t$ là quan sát tại thời điểm ; $t$
$\textbf{x}_{1:t}$ biểu thị tập hợp quan sát cho đến thời điểm ; $t$
$r_t \in \mathbb{N}$ là runlength hiện tại (thời gian kể từ lần thay đổi cuối cùng, có thể là 0); và
$\textbf{x}_t^{(r)}$ là tập hợp các quan sát liên quan đến run . $r_t$

Phương trình 1 là chính xác (xem phần trả lời bên dưới của @JuhoKokkala), nhưng tôi hiểu là nếu bạn thực sự muốn đưa ra dự đoán về bạn cần mở rộng nó như sau: $x_{t+1}$

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}, r_{t + 1}} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) P (r_{t + 1} | r_{t}) (1 b)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$

Lý do của tôi là có thể có một thay đổi tại thời điểm (tương lai) , nhưng sau chỉ bao gồm cho đến . $t+1$ $P(r_t | \textbf{x}_{1:t})$ $t$

Vấn đề là, các tác giả trong bài báo làm cho chúng ta về phương trình. 1 như hiện tại (xem Phương trình 3 và 11 trong bài viết), chứ không phải 1b. Vì vậy, họ dường như bỏ qua khả năng thay đổi tại thời điểm khi dự đoán từ dữ liệu có sẵn tại thời điểm . Ở đầu Phần 2, họ nói en passant $t+1$ $x_{t+1}$ $t$

Chúng tôi giả định rằng chúng tôi có thể tính toán phân phối dự đoán [cho ] có điều kiện trên một chiều dài chạy nhất định . $x_{t+1}$ $r_t$

mà có lẽ đó là nơi mà mánh khóe Nhưng nói chung, phân phối dự đoán này sẽ trông giống như biểu thức. 1b; đó không phải là những gì họ làm (phương trình 11).

Vì vậy, tôi không chắc tôi hiểu những gì đang xảy ra. Có lẽ có một cái gì đó buồn cười xảy ra với ký hiệu.

Tài liệu tham khảo

Adams, RP, & MacKay, DJ (2007). Bayesian phát hiện thay đổi trực tuyến. bản in sẵn arXiv arXiv: 0710.3742.

— lacerbi
nguồn

Một lời giải thích tiềm năng là

đại diện cho thời lượng chạy ở cuối bước thời gian

, tức là sau khi thay đổi tại thời điểm

. Với điều này, phương trình. 1 có ý nghĩa. Trong thực tế, một khởi tạo của thuật toán là bằng cách đặt

, giả sử rằng có một điểm thay đổi ngay trước khi bắt đầu tại

. Tuy nhiên, Hình 1 sai (hoặc ít nhất là sai lệch) ở chỗ nếu có sự thay đổi giữa

và

và giữa

r_{t}

$r_t$

t

$t$

t

$t$

P (r_{0} = 0) = 1

$P(r_0 =0) = 1$

t = 1

$t=1$

t = 4

$t =4$

t = 5

$t=5$

và

như mô tả trong Hình 1a, sau đóvàphải là 0 theo ký hiệu này, chứ không phảivànhư Hình 1b.

t = 10

$t=10$

t = 11

$t=11$

r_{4}

$r_4$

r_{10}

$r_{10}$

r_{5}

$r_5$

r_{11}

$r_{11}$

— lacerbi

Có một cái gì đó kỳ lạ đang diễn ra trong phương trình. 3 là yếu tố trung bình trong summand ở dòng cuối cùng là trong khi tôi nghĩ chứa . Tôi nghi ngờ và đã chuyển vị trí là sẽ có ý nghĩa. Trong phương trình. 11, phía bên tay phải dường như phụ thuộc vào hoàn toàn không xuất hiện ở phía bên tay trái, vì vậy có gì đó không đúng hoặc tôi hoàn toàn không hiểu ký hiệu.

P (x_{t} ∣ r_{t - 1}, x_{t}^{(r)})

$P(x_t \mid r_{t-1}, x^{(r)}_t)$

x_{t}^{(r)}

$x^{(r)}_t$

x_{t}

$x_t$

t

$t$

t - 1

$t-1$

P (x_{t} ∣ r_{t}, x_{t - 1}^{(r)})

$P(x_t \mid r_t, x^{(r)}_{t-1})$

x_{t}^{(r)}

$x_t^{(r)}$

— Juho Kokkala

@JuhoKokkala: Tôi rất vui vì tôi không phải là người duy nhất có cảm giác đó ...

— lacerbi

@lacerbi, tôi có một câu hỏi khác về bài viết này và nghĩ rằng bạn có thể trả lời nó vì bạn có vẻ quen thuộc với công việc: stats.stackexchange.com/questions/419988 .

— gwg

Cả (1) và (1b) đều đúng. OP có quyền rằng (trong mô hình này) có thể có một điểm thay đổi tại và tùy thuộc vào việc có thay đổi hay không. Điều này không ngụ ý bất kỳ vấn đề nào với (1) vì các giá trị có thể có của được "bao phủ" hoàn toàn bởi . có nghĩa là phân phối có điều kiện của điều kiện trên . Phân phối có điều kiện này tính trung bình trên "mọi thứ khác", bao gồm , có điều kiện trên . Giống như người ta có thể viết, giả sử, $t+1$ $x_{t+1}$ $r_{t+1}$ $P(x_{t+1} \mid r_t, x_{1:t})$ $P(x_{t+1} | r_t, x_{1:t})$ $x_{t+1}$ $(r_t, x_{1:t})$ $r_{t+1}$ $(r_t, x_{1:t})$ $P(x_{t+1000} | x_t)$ , sẽ tính đến tất cả các cấu hình có thể thay đổi cũng như các giá trị của s xảy ra giữa và . $x_i$ $t$ $t+1000$

Trong phần còn lại, đầu tiên tôi lấy (1) và sau đó (1b) dựa trên (1).

Đạo hàm của (1)

Đối với bất kỳ biến ngẫu nhiên , chúng ta có miễn là rời rạc (nếu không thì tổng cần phải được thay thế bằng tích phân). Áp dụng điều này cho : $A,B,C$

P (Một | B) = = \underset{c}{Σ} P (Một | B, C = = c) P (C = = c | B),

$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$

C

$C$

x_{t + 1}, x_{1 : t}, r_{t}

$x_{t+1},x_{1:t},r_t$

P (x_{t + 1} | x_{1 : t}) = = \underset{r_{t}}{Σ} P (x_{t + 1} | r_{t}, x_{1 : t}) P (r_{t} | x_{1 : t}),

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$ không có vấn đề gì phụ thuộc giữa , , , nghĩa là chưa có giả định mô hình nào đã được sử dụng. Trong mô hình hiện tại, cho được giả sử * là độc lập có điều kiện với các giá trị của từ các lần chạy trước . Điều này hàm ý . Thay thế điều này vào phương trình trước, chúng ta nhận được

r_{t}

$r_t$

x_{1 : t}

$x_{1:t}$

x_{t + 1}

$x_{t+1}$

x_{t + 1}

$x_{t+1}$

r_{t}, x_{t}^{(r)}

$r_t,x^{(r)}_t$

x

$x$

x_{t}^{(r)}

$x^{(r)}_t$

P (x_{t + 1} ∣ r_{t}, x_{1 : t}) = P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)})

$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

P (x_{t + 1} | x_{1 : t}) = = \underset{r_{t}}{Σ} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}), (1)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$ là (1) trong OP.

Đạo hàm của (1b)

Chúng ta hãy xem xét sự phân rã của trên các giá trị có thể có của : $P(x_{t+1} \mid r_t, x^{(r)}_t)$ $r_{t+1}$

P (x_{t + 1} | r_{t}, x_{t}^{(r)}) = = \underset{r_{t + 1}}{Σ} P (x_{t + 1} | r_{t + 1}, r_{t}, x_{t}^{(r)}) P (r_{t + 1} | r_{t}, x_{t}^{(r)}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$

Vì người ta cho rằng * việc thay đổi xảy ra ở (giữa và ) không phụ thuộc vào lịch sử của , nên chúng ta có . Hơn nữa, vì xác định xem thuộc cùng một hoạt động như , chúng ta có . Thay thế hai đơn giản hóa này vào hệ số hóa ở trên, chúng ta sẽ nhận được $t+1$ $x_t$ $x_{t+1}$ $x$ $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$ $r_{t+1}$ $x_{t+1}$ $x_t$ $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

P (x_{t + 1} | r_{t}, x_{t}^{(r)}) = = \underset{r_{t + 1}}{Σ} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} | r_{t}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$ Thay thế điều này vào (1), chúng ta sẽ có là OP's (1b).

P (x_{t + 1} | x_{1 : t}) = = \underset{r_{t}}{Σ} (\underset{r_{t + 1}}{Σ} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} | r_{t})) P (r_{t} | x_{1 : t}), (1 b)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$

* Nhận xét về các giả định độc lập có điều kiện của mô hình

Dựa trên việc duyệt nhanh bài báo, cá nhân tôi muốn các thuộc tính độc lập có điều kiện được nêu rõ hơn ở đâu đó, nhưng tôi cho rằng ý định là là Markovian và các : s liên quan đến các lần chạy khác nhau là độc lập (với các lần chạy). $r$ $x$

— Juho Kokkala
nguồn

(+1) Cảm ơn. Yep, tất nhiên, tôi hiểu rằng phương trình. 1 là chính thức chính xác nếu một giả định cận biên ngầm định trên . Vấn đề là sau này các tác giả đưa ra dự đoán (Phương trình 11 trong bài báo, và ngầm định trong Phương trình 3) và họ dường như không bị thiệt thòi so với khi họ đưa chúng.

r_{t + 1}

$r_{t+1}$

r_{t + 1}

$r_{t+1}$

— lacerbi

Oh. Có vẻ như sau đó tôi đã hiểu nhầm câu hỏi - tôi có nên xóa cái này không? Bạn có thể muốn làm rõ câu hỏi, hiện tại có vẻ như (1) bằng cách nào đó không chính xác (thay vì có lẽ không hữu ích)

— Juho Kokkala

Hãy giữ câu trả lời này, có giá trị. Lỗi của tôi là tôi đã không đủ rõ ràng trong bài viết gốc của mình. Tôi đã cố gắng làm rõ câu hỏi của mình nhờ ý kiến của bạn, và theo cách mà vẫn làm cho câu trả lời này có ý nghĩa.

— lacerbi