Cập nhật hệ số Bayes

Một yếu tố Bayes được xác định trong thử nghiệm Bayes về giả thuyết và lựa chọn mô hình Bayes theo tỷ lệ của hai khả năng cận biên: đưa ra một mẫu iid và mật độ lấy mẫu tương ứng và , với các linh mục tương ứng và , yếu tố Bayes để so sánh hai mô hình là Một cuốn sách tôi hiện đang xem xét có một tuyên bố kỳ lạ rằng yếu tố Bayes ở trên$(x_1,\ldots,x_n)$$f_1(x|\theta)$$f_2(x|\eta)$$\pi_1$$\pi_2$

$$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$$ $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ được "hình thành bằng cách nhân các yếu tố [yếu tố Bayes] với nhau" (tr.118). Điều này hoàn toàn chính xác nếu một người sử dụng phép phân tách nhưng tôi thấy không có lợi thế tính toán trong phân tách này khi cập nhật bởi yêu cầu nỗ lực tính toán tương tự như tính toán ban đầu của $$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$$ $$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$$ $$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$$ bên ngoài ví dụ đồ chơi nhân tạo.

Câu hỏi: Có cách nào cập nhật yếu tố Bayes chung và hiệu quả về mặt tính toán từ $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ thành $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ không yêu cầu tính toán lại toàn bộ lề $m_1(x_1,\ldots,x_n)$ và $m_2(x_1,\ldots,x_n)$ ?

Trực giác của tôi là, bên cạnh các bộ lọc hạt, thực sự tiến hành ước tính các yếu tố Bayes $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ một quan sát mới tại một thời điểm, không có cách nào tự nhiên để trả lời câu hỏi này .

Có lẽ mục đích của phương trình đệ quy cho yếu tố Bayes là khi bạn đã tính hệ số Bayes cho điểm dữ liệu và bạn muốn có thể cập nhật điều này với một điểm dữ liệu bổ sung. Dường như có thể làm điều này mà không cần tính toán lại các lề của vectơ dữ liệu trước đó, miễn là hình thức của hàm sau được biết đến. Giả sử chúng ta biết dạng của hàm này (và giả sử dữ liệu IID như trong câu hỏi của bạn), mật độ dự đoán có thể được viết là:$n$$\pi_n$

$$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$$

Do đó, bạn có:

$$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$$

So sánh hai lớp mô hình thông qua yếu tố Bayes, sau đó chúng ta có được phương trình đệ quy:

$$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$$

Điều này vẫn liên quan đến việc tích hợp trên phạm vi tham số, vì vậy tôi đồng ý với quan điểm của bạn rằng dường như không có bất kỳ lợi thế tính toán nào so với việc chỉ tính lại yếu tố Bayes thông qua công thức ban đầu bạn đưa ra. Tuy nhiên, bạn có thể thấy rằng điều này không yêu cầu bạn tính toán lại các lề cho vectơ dữ liệu trước đó. (Thay vào đó, chúng tôi tính toán mật độ dự đoán của điểm dữ liệu mới có điều kiện trên dữ liệu trước đó, theo từng lớp mô hình.) Giống như bạn, tôi không thực sự thấy bất kỳ lợi thế tính toán nào của điều này, trừ khi điều đó xảy ra rằng công thức tích phân này đơn giản hóa dễ dàng. Trong mọi trường hợp, tôi cho rằng nó cung cấp cho bạn một công thức khác để cập nhật yếu tố Bayes.