Bayesian cập nhật với dữ liệu mới

17

Làm thế nào để chúng ta đi tính toán một hậu thế với N ~ (a, b) trước sau khi quan sát n điểm dữ liệu? Tôi giả sử rằng chúng ta phải tính trung bình mẫu và phương sai của các điểm dữ liệu và thực hiện một số phép tính kết hợp giữa sau với trước, nhưng tôi không chắc chắn công thức kết hợp trông như thế nào.

bayesian normal-distribution conjugate-prior

— thống kê
nguồn

22

Ý tưởng cơ bản của Bayesian cập nhật được rằng đưa ra một số dữ liệu $X$ và trước khi thông số trên của lãi $\theta$ , nơi mà các mối quan hệ giữa dữ liệu và tham số được mô tả bằng khả năng chức năng, bạn sử dụng định lý Bayes để có được sau

p (θ ∣ X) \propto p (X ∣ θ) p (θ)

$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$

Điều này có thể được thực hiện tuần tự, nơi sau khi nhìn thấy điểm dữ liệu đầu tiên $x_1$ trước $\theta$ trở nên cập nhật để sau $\theta'$ , tiếp theo bạn có thể mất điểm dữ liệu thứ hai $x_2$ và sử dụng sau thu được trước khi $\theta'$ như của bạn trước , để cập nhật nó một lần nữa, vv

Tôi sẽ cho bạn một ví dụ. Hãy tưởng tượng rằng bạn muốn ước tính trung bình $\mu$ phân phối bình thường và $\sigma^2$ được biết đến với bạn. Trong trường hợp như vậy chúng ta có thể sử dụng mô hình bình thường-bình thường. Chúng tôi giả định bình thường trước khi cho $\mu$ với siêu tham số $\mu_0,\sigma_0^2:$

\begin{aligned} X ∣ μ & \sim N o r m a l (μ, σ^{2}) \\ μ & \sim N o r m a l (μ_{0}, σ_{0}^{2}) \end{aligned}

$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$

Kể từ phân phối chuẩn là một liên hợp trước cho của phân phối chuẩn, chúng tôi đã đóng dạng giải pháp để cập nhật trước $\mu$

\begin{aligned} E (μ^{'} ∣ x) & = \frac{σ^{2} μ + σ_{0}^{2} x}{σ^{2} + σ_{0}^{2}} \\ V a r (μ^{'} ∣ x) & = \frac{σ^{2} σ_{0}^{2}}{σ^{2} + σ_{0}^{2}} \end{aligned}

$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$

Thật không may, các giải pháp dạng đóng đơn giản như vậy không có sẵn cho các vấn đề phức tạp hơn và bạn phải dựa vào các thuật toán tối ưu hóa (để ước tính điểm bằng cách sử dụng tối đa phương pháp posteriori ) hoặc mô phỏng MCMC.

Dưới đây bạn có thể xem ví dụ dữ liệu:

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

Nếu bạn vẽ kết quả, bạn sẽ thấy hậu thế tiếp cận giá trị ước tính (giá trị thực của nó được đánh dấu bằng đường màu đỏ) khi dữ liệu mới được tích lũy.

Để tìm hiểu thêm, bạn có thể kiểm tra các slide đó và phân tích Conjugate Bayesian của bài phân phối Gaussian của Kevin P. Murphy. Kiểm tra các linh mục Bayes có trở nên không liên quan với cỡ mẫu lớn không? Bạn cũng có thể kiểm tra các ghi chú và mục blog này để biết giới thiệu từng bước có thể truy cập về suy luận Bayes.

— Tim
nguồn

Cảm ơn bạn, điều này rất hữu ích. Làm thế nào chúng ta sẽ giải quyết ví dụ đơn giản này (phương sai không xác định, không giống như ví dụ của bạn)? Giả sử chúng ta có phân phối trước của N ~ (5, 4) và sau đó chúng ta quan sát 5 điểm dữ liệu (8, 9, 10, 8, 7). Điều gì sẽ là hậu thế sau những quan sát này? Cảm ơn bạn trước. Nhiều đánh giá cao.

— statstudent

@Kelly bạn có thể tìm thấy các ví dụ cho các trường hợp khi phương sai không xác định và có nghĩa là đã biết hoặc cả hai đều không xác định trong mục Wikipedia về các linh mục liên hợp và các liên kết tôi cung cấp ở cuối câu trả lời của tôi. Nếu cả hai giá trị trung bình và phương sai không xác định, nó trở nên phức tạp hơn một chút.

— Tim

@Kelly btw, bạn có thể kiểm tra ở đây cho ví dụ về lập dự toán cả

và

.

μ

$\mu$

σ^{2}

$\sigma^2$

— Tim

4

Nếu bạn có một trước và một hàm likelihood bạn có thể tính toán sau với: $P(\theta)$ $P(x \mid \theta)$

P (θ ∣ x) = \frac{\sum_{θ} P (x ∣ θ) P (θ)}{P (x)}

$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$

Vì chỉ là hằng số chuẩn hóa để tổng xác suất thành một, nên bạn có thể viết: $P(x)$

P (θ ∣ x) \sim \sum_{θ} P (x ∣ θ) P (θ)

$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$

nơi $\sim$ có nghĩa là "tỷ lệ thuận với."

Trường hợp của các linh mục liên hợp (nơi bạn thường nhận được các công thức dạng đóng đẹp)

Bài viết Wikipedia này về các linh mục liên hợp có thể là thông tin. Hãy là một vector của các thông số của bạn. Hãy là một trước khi qua các thông số của bạn. Hãy để là hàm likelihood, xác suất của dữ liệu cho các thông số. Trước là một liên hợp trước cho hàm likelihood nếu trước và sau $\boldsymbol{\theta}$ $P(\boldsymbol{\theta})$ $P(\mathbf{x} \mid \boldsymbol{\theta})$ $P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$ đang ở trong cùng một gia đình (ví dụ cả Gaussian.).

Bảng phân phối liên hợp có thể giúp xây dựng một số trực giác (và cũng đưa ra một số ví dụ hướng dẫn để làm việc thông qua chính bạn).

— Matthew Gunn
nguồn

1

Đây là vấn đề tính toán trung tâm cho phân tích dữ liệu Bayes. Nó thực sự phụ thuộc vào dữ liệu và phân phối liên quan. Đối với các trường hợp đơn giản trong đó mọi thứ có thể được biểu thị ở dạng kín (ví dụ: với các linh mục liên hợp), bạn có thể sử dụng trực tiếp định lý Bayes. Họ kỹ thuật phổ biến nhất cho các trường hợp phức tạp hơn là chuỗi Markov Monte Carlo. Để biết chi tiết, xem bất kỳ sách giáo khoa giới thiệu về phân tích dữ liệu Bayes.

— Nhà quang học học
nguồn

Cảm ơn bạn rất nhiều! Xin lỗi nếu đây là một câu hỏi tiếp theo thực sự ngu ngốc, nhưng trong những trường hợp đơn giản mà bạn đã đề cập, chính xác chúng ta sẽ sử dụng định lý Bayes như thế nào? Phân phối được tạo bởi giá trị trung bình mẫu và phương sai của các điểm dữ liệu sẽ trở thành hàm khả năng? Cảm ơn rât nhiều.

— statstudent

@Kelly Một lần nữa, nó phụ thuộc vào việc phân phối. Xem ví dụ: en.wikipedia.org/wiki/Conjugate_p Warrior#Example . (Nếu tôi trả lời câu hỏi của bạn, đừng quên chấp nhận câu trả lời của tôi bằng cách nhấp vào dấu kiểm dưới mũi tên biểu quyết.)

— Kodiologist