Mô hình logit Bayes - giải thích trực quan?

Tôi phải thú nhận rằng trước đây tôi chưa từng nghe về thuật ngữ đó trong bất kỳ lớp học nào, đại học hoặc sau đại học.

Điều đó có nghĩa gì đối với hồi quy logistic là Bayes? Tôi đang tìm kiếm một lời giải thích với sự chuyển đổi từ logistic thông thường sang logistic Bayes tương tự như sau:

Đây là phương trình trong mô hình hồi quy tuyến tính: .$E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Đây là phương trình trong mô hình hồi quy logistic: . Điều này được thực hiện khi y là phân loại.$\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Những gì chúng tôi đã làm là thay đổi thành .ln ( E ( y $E(y)$$\ln(\frac{E(y)}{1-E(y)})$

Vì vậy, những gì đã làm cho mô hình hồi quy logistic trong hồi quy logistic Bayes? Tôi đoán nó không phải là một cái gì đó để làm với phương trình.

Bản xem trước cuốn sách này dường như xác định, nhưng tôi không thực sự hiểu. Tất cả những gì trước đây, công cụ khả năng là gì? Là gì ? Ai đó có thể vui lòng giải thích rằng một phần của cuốn sách hoặc mô hình logit Bayes theo một cách khác?$\alpha$

Lưu ý: Điều này đã được hỏi trước đây nhưng tôi không trả lời tốt lắm.

Hồi quy logistic có thể được mô tả như một sự kết hợp tuyến tính

$$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$$

được truyền qua chức năng liên kết :$g$

$$g(E(Y)) = \eta$$

trong đó chức năng liên kết là chức năng logit

$$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$$

Trong đó chỉ lấy các giá trị trong và các hàm logit nghịch đảo biến đổi tổ hợp tuyến tính thành phạm vi này. Đây là nơi hồi quy logistic cổ điển kết thúc.{ 0 , 1 } $Y$$\{0,1\}$$\eta$

Tuy nhiên, nếu bạn nhớ rằng cho các biến chỉ lấy các giá trị trong , thì có thể coi là . Trong trường hợp này, đầu ra của hàm logit có thể được coi là xác suất có điều kiện của "thành công", tức là . Phân phối Bernoulli là phân phối mô tả xác suất quan sát kết quả nhị phân, với một số tham số , vì vậy chúng ta có thể mô tả là{ 0 , 1 } E ( Y | X , β ) P ( Y = 1 | X , β ) P ( Y = 1 | X , β ) p $E(Y) = P(Y = 1)$$\{0,1\}$$E(Y | X,\beta)$$P(Y = 1 | X,\beta)$$P(Y=1|X,\beta)$$p$$Y$

$$y_i \sim \text{Bernoulli}(p)$$

Vì vậy, với hồi quy logistic, chúng tôi tìm kiếm một số tham số mà togeder với các biến độc lập tạo thành một tổ hợp tuyến tính . Trong hồi quy cổ điển (chúng tôi giả sử hàm liên kết là hàm nhận dạng), tuy nhiên để mô hình lấy các giá trị trong chúng ta cần chuyển đổi sao cho phù hợp trong phạm vi .X η E ( Y | X , β ) = η Y { 0 , 1 } η [ 0 , 1 $\beta$$X$$\eta$$E(Y|X,\beta) = \eta$$Y$$\{0,1\}$$\eta$$[0,1]$

Bây giờ, để ước tính hồi quy logistic theo cách Bayes, bạn chọn một số giá trị cho các tham số như với hồi quy tuyến tính (xem Kruschke et al, 2012 ), sau đó sử dụng hàm logit để chuyển đổi tổ hợp tuyến tính , do đó, sử dụng đầu ra của nó làm tham số của phân phối Bernoulli mô tả biến của bạn . Vì vậy, vâng, bạn thực sự sử dụng phương trình và hàm liên kết logit giống như trong trường hợp thường xuyên, và phần còn lại hoạt động (ví dụ chọn các mục sư) như với ước tính hồi quy tuyến tính theo cách Bayesian. η p $\beta_i$$\eta$$p$$Y$

Cách tiếp cận đơn giản để chọn các mục sư là chọn các bản phân phối Bình thường (nhưng bạn cũng có thể sử dụng các bản phân phối khác, ví dụ: phân phối - hoặc Laplace cho mô hình mạnh hơn) cho với các tham số và được đặt trước hoặc lấy từ các linh mục phân cấp . Bây giờ, có định nghĩa mô hình, bạn có thể sử dụng phần mềm như JAGS để thực hiện mô phỏng Markov Chain Monte Carlo để bạn ước tính mô hình. Dưới đây tôi đăng mã JAGS cho mô hình logistic đơn giản (kiểm tra ở đây để biết thêm ví dụ).β i μ i σ 2 $t$$\beta_i$$\mu_i$$\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

Như bạn có thể thấy, mã trực tiếp chuyển thành định nghĩa mô hình. Phần mềm làm gì là nó rút ra một số giá trị từ các mục sư bình thường avà bsau đó nó sử dụng các giá trị đó để ước tính pvà cuối cùng, sử dụng hàm khả năng để đánh giá khả năng dữ liệu của bạn được cung cấp cho các tham số đó (đây là khi bạn sử dụng định lý Bayes, xem tại đây để biết mô tả chi tiết hơn).

Mô hình hồi quy logistic cơ bản có thể được mở rộng để mô hình hóa sự phụ thuộc giữa các dự đoán sử dụng mô hình phân cấp (bao gồm hyperpriors ). Trong trường hợp này, bạn có thể rút từ phân phối Bình thường nhiều biến cho phép chúng tôi đưa thông tin về hiệp phương sai giữa các biến độc lập$\beta_i$$\boldsymbol{\Sigma}$

$$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$$

... nhưng điều này sẽ đi vào chi tiết, vì vậy hãy dừng lại ở đây.

Phần "Bayes" ở đây là chọn các linh mục, sử dụng định lý Bayes và mô hình xác định theo thuật ngữ xác suất. Xem ở đây để định nghĩa về "mô hình Bayes" và ở đây để biết một số trực giác chung về phương pháp tiếp cận Bayes . Điều bạn cũng có thể nhận thấy là việc xác định các mô hình khá đơn giản và linh hoạt với phương pháp này.

---

Kruschke, JK, Aguinis, H., & Joo, H. (2012). Đã đến lúc: phương pháp Bayes để phân tích dữ liệu trong khoa học tổ chức. Phương pháp nghiên cứu tổ chức, 15 (4), 722-752.

Gelman, A., Jakulin, A., Pittau, GM và Su, Y.-S. (2008). Một phân phối trước mặc định thông tin yếu cho các mô hình hồi quy và hậu cần khác. Biên niên sử thống kê ứng dụng, 2 (4), 1360 Từ1383.

Tất cả những gì trước đây, công cụ khả năng là gì?

Đó là những gì làm cho nó Bayes. Mô hình tổng quát cho dữ liệu là như nhau; sự khác biệt là phân tích Bayes chọn một số phân phối trước cho các tham số quan tâm và tính toán hoặc xấp xỉ phân phối sau , dựa trên đó tất cả suy luận dựa trên. Quy tắc Bayes liên quan đến hai: Hậu thế tỷ lệ thuận với thời gian khả năng trước đó.

Theo trực giác, ưu tiên này cho phép một nhà phân tích về mặt toán học thể hiện chuyên môn về chủ đề hoặc các phát hiện có từ trước. Chẳng hạn, văn bản bạn tham chiếu lưu ý rằng trước đó cho là một thông thường đa biến. Có lẽ các nghiên cứu trước đây cho thấy một loạt các tham số nhất định có thể được thể hiện với các thông số bình thường nhất định. (Với tính linh hoạt đi kèm với trách nhiệm: Người ta có thể biện minh cho họ trước một đối tượng hoài nghi.) Trong các mô hình phức tạp hơn, người ta có thể sử dụng chuyên môn về miền để điều chỉnh các tham số tiềm ẩn nhất định. Ví dụ, xem ví dụ về gan được tham chiếu trong câu trả lời này .$\bf\beta$

Một số mô hình thường xuyên có thể liên quan đến một đối tác Bayes với một trước cụ thể, mặc dù tôi không chắc là tương ứng trong trường hợp này.