Hồi quy Bayes với số ít

Cộng đồng SE, tôi hy vọng sẽ có được một số hiểu biết về vấn đề sau đây. Với một mô hình hồi quy tuyến tính đơn giản Theo hàm khả năng Gaussian với các thuật ngữ lỗi homoscedastic, phân phối có điều kiện của biến phụ thuộc có dạng Tôi chỉ định một liên hợp có điều kiện (không chính xác) trước cho

Y = X β + ϵ, where Y \in R^{T}, X \in R^{T \times N} .

$Y=X\beta+\epsilon\text{ , where } Y\in\mathbb{R}^T,X\in\mathbb{R}^{T \times N}.$

Y | β, h \sim N (X β, h^{- 1} I) .

$Y|\beta,h \sim N(X\beta,h^{-1}I).$

và

là

. Đó là một kết quả tiêu chuẩn phân bố sau biên của

là t đa biến với

Chuyện gì sẽ xảy ra nếu

β

$\beta$

h

$h$

β | h \sim N (0, c I), h \sim G (s^{- 2}, v)

$\beta|h \sim N(0,cI), h\sim G(s^{-2},v)$

c \to \infty, v \to 0

$c\rightarrow\infty, v\rightarrow0$

β

$\beta$

β | D \sim t_{N} (\hat{β}, \hat{Σ}, T) .

$\beta|D\sim t_N (\hat{\beta},\hat{\Sigma},T).$

là số ít? Trong hồi quy tiêu chuẩn, tôi sẽsử dụngPseudoinverse

tổng quátthay vì sử dụng

. Tuy nhiên, trong trường hợp này sau đúng

sẽ là số ít và tôi cũng nghi ngờ rằng

-Distribution vẫn được xác định rõ. Điều này có đúng không?

(X^{'} X)

$(X'X)$

(X^{'} X)^{+}

$(X'X)^+$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

\hat{Σ} := c (X^{'} X)^{- 1}

$\hat{\Sigma}:=c(X'X)^{-1}$

t

$t$

$\beta$ $z:=A\beta$ $A\in\mathbb{R}^{N-1 \times N}$ $|A\hat{\Sigma}A'|\neq 0$ $\beta$

— muffin1974
nguồn

Tốt nhất, các linh mục không cung cấp thông tin cung cấp kết quả hữu ích khi dữ liệu xác định duy nhất các tham số mô hình - Quan sát này về cơ bản là lý do tại sao chúng ta có hồi quy sườn và người thân của nó thay vì chỉ dựa vào OLS. Nhưng nếu dữ liệu không đủ thông tin, thông thường người ta sẽ đi theo tuyến hồi quy chính quy (sườn núi, v.v.) hoặc tuyến Bayes đầy đủ. Trong lộ trình Bayes đầy đủ, chỉ cần xác định các phân phối chính xác, đầy đủ thông tin trước dữ liệu của bạn và vấn đề sẽ có thể xử lý được.

— Sycorax nói Phục hồi Monica

β

$\beta$

z

$z$

z

$z$

z

$z$

β

$\beta$

Vấn đề chính với câu hỏi của bạn là việc thực hiện các giới hạn không đơn giản mở rộng cho các biện pháp và phân phối xác suất. Có nhiều loại hội tụ khác nhau liên quan đến các biện pháp.

β | h \sim N (0, c I), h \sim G (s^{- 2}, ν)

$\beta|h \sim \mathcal{N}(0,cI), h\sim \mathcal{G}(s^{-2},\nu)$

ν

$\nu$

c

$c$

0

$0$

\infty

$\infty$

π (β, h) \propto \frac{1}{h}

$\pi(\beta,h)\propto\frac{1}{h}$

L (β, h | X, y) = \exp {- h (y - X β)^{T} (y - X β) / 2} h^{T / 2}

$L(\beta,h|X,y)=\exp\{-h(y-X\beta)^\text{T}(y-X\beta)/2\}h^{T/2}$

β

$\beta$

h

$h$

\hat{Σ} = (X^{T} X)^{- 1}

$\hat{\Sigma}=(X^\text{T}X)^{-1}$

A β

$A\beta$

— Tây An
nguồn