Mối quan hệ giữa phân phối Beta và mô hình hồi quy logistic là gì?

Câu hỏi của tôi là: mối quan hệ toán học giữa phân phối Beta và các hệ số của mô hình hồi quy logistic là gì?

Để minh họa: logistic (sigmoid) chức năng được cho bởi

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

và nó được sử dụng để mô hình xác suất trong mô hình hồi quy logistic. Đặt là một kết quả nhị phân và là ma trận thiết kế. Mô hình hồi quy logistic được đưa ra bởi $A$ $(0,1)$ $X$

P (A = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

Lưu ý có cột đầu tiên là hằng số (chặn) và là một vectơ cột của các hệ số hồi quy. Ví dụ: khi chúng ta có một biến hồi quy (chuẩn-bình thường) và chọn (chặn) và , chúng ta có thể mô phỏng kết quả 'phân phối xác suất'. $X$ $1$ $\beta$ $x$ $\beta_0=1$ $\beta_1=1$

Biểu đồ này nhắc nhở về bản phân phối Beta (cũng như các âm mưu cho các lựa chọn khác của ) có mật độ được đưa ra bởi $\beta$

g (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} .

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

Sử dụng khả năng tối đa hoặc phương pháp của các khoảnh khắc , có thể ước tính và từ phân phối . Vì vậy, câu hỏi của tôi đặt ra: mối quan hệ giữa các lựa chọn của và và gì? Điều này, để bắt đầu, nhấn vào trường hợp bivariate được đưa ra ở trên. $p$ $q$ $P(A=1|X)$ $\beta$ $p$ $q$

— cà chua
nguồn

Tôi chỉ tự hỏi điều này 3 giờ trước trong lớp thống kê Bayes của tôi

— Nhà giả kim

Câu trả lời:

Beta là phân phối của các giá trị trong phạm vi rất linh hoạt về hình dạng của nó, do đó, đối với hầu hết mọi phân phối giá trị theo kinh nghiệm không chính thống trong bạn có thể dễ dàng tìm thấy các tham số của phân phối beta có hình dạng "giống" đó của phân phối. $(0,1)$ $(0,1)$

Lưu ý rằng hồi quy logistic cung cấp cho bạn xác suất có điều kiện , trong khi trên lô của bạn, bạn đang trình bày cho chúng tôi phân phối biên của xác suất dự đoán. Đó là hai điều khác nhau để nói về. $\Pr(Y=1\mid X)$

Không có mối quan hệ trực tiếp giữa các tham số hồi quy logistic và các tham số phân phối beta khi xem xét phân phối dự đoán từ mô hình hồi quy logistic. Dưới đây bạn có thể thấy dữ liệu được mô phỏng bằng cách sử dụng các phân phối bình thường, theo cấp số nhân và thống nhất được chuyển đổi bằng chức năng logistic. Bên cạnh việc sử dụng chính xác các tham số hồi quy logistic (ví dụ ), các phân phối xác suất dự đoán rất khác nhau. Vì vậy, phân phối xác suất dự đoán không chỉ phụ thuộc vào các tham số hồi quy logistic, mà còn phụ thuộc vào phân phối của và không có mối quan hệ đơn giản nào giữa chúng. $\beta_0 = 0, \beta_1 = 1$ $X$

Vì beta là phân phối của các giá trị trong , nên nó không thể được sử dụng để mô hình hóa dữ liệu nhị phân như hồi quy logistic. Nó có thể được sử dụng để mô hình xác suất , theo cách chúng tôi sử dụng hồi quy beta (xem thêm tại đây và tại đây ). Vì vậy, nếu bạn quan tâm đến xác suất (được hiểu là biến ngẫu nhiên), bạn có thể sử dụng hồi quy beta cho mục đích đó. $(0,1)$

— Tim
nguồn

Vậy nếu Beta có thể xấp xỉ bất kỳ phân phối nào như vậy, thì không nên có mối quan hệ giữa các tham số của nó và ?

β

$\beta$

— tomka

@tomka nhưng phân phối phụ thuộc vào phân phối dữ liệu của bạn và các tham số, do đó, ngay cả mối quan hệ như vậy có tồn tại hay không, nó rất phức tạp. Rõ ràng không có mối quan hệ trực tiếp giữa các tham số hồi quy và tham số phân phối beta. Hãy thử mô phỏng dự đoán hồi quy logistic theo cùng một tham số bằng cách sử dụng các phân phối khác nhau cho , phân phối biên sẽ khác nhau trong từng trường hợp.

X

$X$

— Tim

Phân phối beta không linh hoạt - nó không thể xấp xỉ các phân phối đa phương thức.

— Marcus PS

@MarcusPS Tôi đã làm cho nó rõ ràng hơn.

— Tim

@MarcusPS ngoại trừ trường hợp đặc biệt của các bản phân phối đa phương thức với các chế độ ở 0 và 1 ...

— Ben Bolker

Hồi quy logistic là trường hợp đặc biệt của Mô hình tuyến tính tổng quát (GLM). Trong trường hợp cụ thể của dữ liệu nhị phân này, hàm logistic là hàm liên kết chính tắc biến đổi vấn đề hồi quy phi tuyến tính trong tay thành một vấn đề tuyến tính. GLM có phần đặc biệt, theo nghĩa là chúng chỉ áp dụng cho các bản phân phối trong họ theo cấp số nhân (chẳng hạn như phân phối Binomial).

Trong ước tính Bayes, phân phối Beta là liên hợp trước phân phối nhị thức, có nghĩa là cập nhật Bayes lên Beta trước, với các quan sát nhị thức, sẽ dẫn đến hậu thế Beta. Vì vậy, nếu bạn có số lượng quan sát dữ liệu nhị phân, bạn có thể nhận được ước tính Bayes phân tích về các tham số của phân phối nhị thức bằng cách sử dụng bản Beta trước.

Vì vậy, dọc theo những gì đã được nói bởi người khác, tôi không nghĩ có mối quan hệ trực tiếp, nhưng cả phân phối Beta và hồi quy logistic đều có mối quan hệ chặt chẽ với việc ước tính các tham số của một thứ gì đó tuân theo phân phối nhị thức.

— Marcus PS
nguồn

Tôi đã + 1'd để đề cập đến phối cảnh Bayes, nhưng lưu ý rằng trong trường hợp mô hình hồi quy, chúng tôi không sử dụng mô hình nhị phân beta và phân phối beta nói chung không được sử dụng như trước cho các tham số - ít nhất là trong trường hợp logistic điển hình của Bayes hồi quy . Vì vậy, điều này không trực tiếp dịch sang mô hình nhị phân beta.

— Tim

Có lẽ không có kết nối trực tiếp? Việc phân phối phần lớn phụ thuộc vào mô phỏng của bạn . Nếu bạn mô phỏng với , sẽ phải đăng nhập bình thường phân phối với cho . Phân phối của $P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ sau đó có thể được tìm thấy rõ ràng: với cdf $P(A=1|X)$ nghịch đảo cdf

F (x) = 1 - Φ [\ln (\frac{1}{x} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$

và pdf

Q (x) = \frac{1}{1 + \exp (Φ^{- 1} (1 - x) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$

không giống với phân phối Beta.

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$

Bạn có thể xác minh các kết quả được đưa ra ở trên trong R :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

— Đức Phanxicô
nguồn

x

$x$

f (x)

$f(x)$

[- inf, inf]

$[-\inf, \inf]$

P (A | X)

$P(A|X)$

[0, 1]

$[0,1]$

f (x)

$f(x)$

P (A | X)

$P(A|X)$

1 / x - 1 > 0

$1/x-1>0$

x \in (0, 1)

$x\in(0,1)$

f

$f$

X

$X$

@whuber: hình như tôi đã nhầm, tôi đã xóa phần đó.

— Phanxicô