Hồi quy Bayes: nó được thực hiện như thế nào so với hồi quy tiêu chuẩn?

Tôi có một số câu hỏi về hồi quy Bayes:

Cho một hồi quy chuẩn như . Nếu tôi muốn thay đổi điều này thành hồi quy Bayes, tôi có cần phân phối trước cho cả và (hoặc không hoạt động theo cách này)? $y = \beta_0 + \beta_1 x + \varepsilon$ $\beta_0$ $\beta_1$
Trong hồi quy tiêu chuẩn, người ta sẽ cố gắng giảm thiểu các phần dư để có được các giá trị đơn cho và . Làm thế nào điều này được thực hiện trong hồi quy Bayes? $\beta_0$ $\beta_1$

Tôi thực sự đấu tranh rất nhiều ở đây:

posterior = prior \times likelihood

$\text{posterior} = \text{prior} \times \text{likelihood}$

Khả năng xuất phát từ tập dữ liệu hiện tại (vì vậy đó là tham số hồi quy của tôi nhưng không phải là một giá trị đơn lẻ mà là phân phối khả năng, phải không?). Ưu tiên đến từ một nghiên cứu trước đây (giả sử). Vì vậy, tôi đã có phương trình này:

y = β_{1} x + ε

$y = \beta_1 x + \varepsilon$

với là khả năng của tôi hoặc sau này (hoặc điều này hoàn toàn sai)? $\beta_1$

Tôi chỉ đơn giản là không thể hiểu làm thế nào hồi quy tiêu chuẩn biến thành một Bayes.

regression bayesian

— TinglTanglBob
nguồn

Câu trả lời:

Mô hình hồi quy tuyến tính đơn giản

y_{i} = α + β x_{i} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

có thể được viết theo mô hình xác suất đằng sau nó

μ_{i} = α + β x_{i} y_{i} \sim N (μ_{i}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

tức là biến phụ thuộc sau phân phối chuẩn parametrized bởi trung bình , đó là một hàm tuyến tính của parametrized bởi , và bởi độ lệch chuẩn . Nếu bạn ước tính mô hình như sử dụng bình thường bình phương nhỏ nhất , bạn không cần phải bận tâm về việc xây dựng xác suất, bởi vì bạn đang tìm kiếm các giá trị tối ưu của thông số bằng cách giảm thiểu các lỗi bình phương của giá trị được trang bị với các giá trị dự đoán. Mặt khác, bạn có thể ước tính mô hình như vậy bằng cách sử dụng ước tính khả năng tối đa $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$ , nơi bạn sẽ tìm kiếm các giá trị tối ưu của các tham số bằng cách tối đa hóa hàm khả năng

\underset{α, β, σ}{a r g m a x} \prod_{i = 1}^{n} N (y_{i}; α + β x_{i}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

$\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

Theo cách tiếp cận Bayes thay vì chỉ tối đa hóa hàm khả năng, chúng tôi sẽ giả sử các phân phối trước cho các tham số và sử dụng định lý Bayes

posterior \propto likelihood \times prior

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

$\alpha,\beta,\sigma$

\underset{posterior}{\underset{⏟}{f (α, β, σ ∣ Y, X)}} \propto \underset{likelihood}{\underset{⏟}{\prod_{i = 1}^{n} N (y_{i} ∣ α + β x_{i}, σ)}} \underset{priors}{\underset{⏟}{f_{α} (α) f_{β} (β) f_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

$\alpha,\beta$ $t$ $\sigma$

(nguồn: http://www.indiana.edu/~kruschke/BMLR/ )

Mặc dù trong khả năng tối đa bạn đang tìm kiếm một giá trị tối ưu duy nhất cho từng tham số, theo cách tiếp cận Bayes bằng cách áp dụng định lý Bayes, bạn có được phân phối sau của các tham số. Ước tính cuối cùng sẽ phụ thuộc vào thông tin xuất phát từ dữ liệu của bạn và từ các linh mục của bạn , nhưng càng có nhiều thông tin trong dữ liệu của bạn, thì càng ít ảnh hưởng đến các linh mục .

$f(\theta) \propto 1$

Để ước tính một mô hình theo cách tiếp cận Bayes trong một số trường hợp, bạn có thể sử dụng các linh mục liên hợp , do đó phân phối sau có sẵn trực tiếp (xem ví dụ ở đây ). Tuy nhiên, trong phần lớn các trường hợp, phân phối sau sẽ không có sẵn trực tiếp và bạn sẽ phải sử dụng các phương pháp Markov Chain Monte Carlo để ước tính mô hình (kiểm tra ví dụ này về việc sử dụng thuật toán Metropolis-Hastings để ước tính các tham số của hồi quy tuyến tính). Cuối cùng, nếu bạn chỉ quan tâm đến ước tính điểm của các tham số, bạn có thể sử dụng ước tính posteriori tối đa , nghĩa là

\underset{α, β, σ}{a r g m a x} f (α, β, σ ∣ Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

Để mô tả chi tiết hơn về hồi quy logistic, bạn có thể kiểm tra mô hình logit Bayes - giải thích trực quan? chủ đề.

Để tìm hiểu thêm, bạn có thể kiểm tra các cuốn sách sau:

Kruschke, J. (2014). Thực hiện phân tích dữ liệu Bayes: Hướng dẫn với R, JAGS và Stan. Báo chí học thuật.

Gelman, A., Carlin, JB, Stern, HS và Rubin, DB (2004). Phân tích dữ liệu Bayes. Chapman & Hội trường / CRC.

— Tim
nguồn

$\beta_i$ $\beta_i$

+1. Một điều nữa có thể hữu ích để chỉ ra để làm rõ mối quan hệ giữa các phương pháp Bayes và OLS là OLS có thể được hiểu là nghĩa sau theo một căn hộ trước (ít nhất là theo như tôi hiểu). Sẽ là tuyệt vời nếu bạn có thể giải thích một chút về câu trả lời của bạn.

— amip nói rằng Phục hồi Monica

@amoeba đó là một điểm tốt, tôi sẽ nghĩ về nó. Nhưng mặt khác, tôi không muốn đưa ra câu trả lời quá dài, vì vậy có một điểm cần phải đi vào chi tiết.

— Tim

@amoeba FYI, tôi đã thêm một nhận xét ngắn gọn về điều đó.

— Tim

$D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

w \sim N (0, σ_{w}^{2} I_{d})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

$w$ $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

Y_{i} \sim N (w^{T} x_{i}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

$Y_i \perp Y_j | w, i \neq j$

$a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

p (w) \propto \exp {- \frac{b}{2} w^{t} w}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

p (D | w) \propto \exp {- \frac{a}{2} (y - A w)^{T} (y - A w)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

$y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

p (w | D) \propto p (D | w) p (w)

$p(w|D) \propto p(D|w) p(w)$

Sau nhiều tính toán, chúng tôi phát hiện ra rằng

p (w | D) \sim N (w | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

$\Lambda$

Λ = a A^{T} A + b I_{d}

$\Lambda = a A^T A + b I_d$

μ = a Λ^{- 1} A^{T} y

$\mu = a \Lambda^{-1} A^T y$

$\mu$ $w_{MAP}$

$\mu$ $\Lambda = aA^TA+bI_d$

μ = (A^{T} A + \frac{b}{a} I_{d})^{- 1} A^{T} y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

$w_{MLE}$

w_{M L E} = (A^{T} A)^{- 1} A^{T} y

$w_{MLE} = (A^T A)^{-1} A^T y$

$\mu$ $\lambda = \frac{b}{a}$

Đối với phân phối dự báo sau:

p (y | x, D) = \int p (y | x, D, w) p (w | x, D) d w = \int p (y | x, w) p (w | D) d w

có thể tính toán rằng

y | x, D \sim N (μ^{T} x, \frac{1}{a} + x^{T} Λ^{- 1} x)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

Tham khảo: Lunn et al. Cuốn sách BUG

Để sử dụng công cụ MCMC như JAGS / Stan, hãy kiểm tra Phân tích dữ liệu Bay Bay của Kruschke

— jpneto
nguồn

Cảm ơn bạn jpneto. tôi cảm thấy rằng đây là một câu trả lời tuyệt vời, nhưng tôi chưa hiểu nó vì thiếu kiến thức toán học. Nhưng tôi chắc chắn sẽ đọc lại sau khi đạt được một số kỹ năng toán học

— TinglTanglBob

Điều này là rất tốt, nhưng giả định rằng độ chính xác được biết là hơi không phổ biến. Không phải là phổ biến hơn nhiều khi giả sử phân phối Gamma nghịch đảo cho phương sai, tức là phân phối Gamma cho độ chính xác?

— DeltaIV

w

$w$

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

@DeltaIV: chắc chắn, khi chúng ta không chắc chắn về một tham số, chúng ta có thể mô hình hóa nó với trước. Giả định về độ chính xác đã biết là giúp dễ dàng tìm ra giải pháp phân tích. Thông thường, những giải pháp phân tích đó là không thể và chúng ta phải sử dụng các phép tính gần đúng, như MCMC hoặc một số kỹ thuật đa dạng.

— jpneto