Giải thích biến tiềm ẩn của các mô hình tuyến tính tổng quát (GLM)

Phiên bản ngắn:

Chúng tôi biết rằng hồi quy logistic và hồi quy probit có thể được hiểu là liên quan đến một biến tiềm ẩn liên tục bị rời rạc theo một số ngưỡng cố định trước khi quan sát. Là một giải thích biến tiềm ẩn tương tự có sẵn cho, nói, hồi quy Poisson? Làm thế nào về hồi quy Binomial (như logit hoặc probit) khi có nhiều hơn hai kết quả riêng biệt? Ở cấp độ chung nhất, có cách nào để diễn giải bất kỳ GLM nào về các biến tiềm ẩn không?

Phiên bản dài:

Một cách tiêu chuẩn để thúc đẩy mô hình probit cho kết quả nhị phân (ví dụ, từ Wikipedia ) là như sau. Chúng tôi có một không quan sát được / tiềm ẩn biến kết quả được phát hành bình thường, có điều kiện về dự đoán . Biến tiềm ẩn này phải chịu một quá trình ngưỡng, do đó kết quả riêng biệt mà chúng ta thực sự quan sát được là nếu , nếu . Điều này dẫn đến xác suất cho có dạng CDF bình thường, với độ lệch trung bình và độ lệch chuẩn là hàm của ngưỡng và độ dốc của hồi quy của trên $Y$ $X$ $u=1$ $Y \ge \gamma$ $u=0$ $Y < \gamma$ $u=1$ $X$ $\gamma$ $Y$ $X$ , tương ứng. Vì vậy, mô hình probit được thúc đẩy như một cách để ước lượng độ dốc từ hồi quy tiềm ẩn này của trên . $Y$ $X$

Điều này được minh họa trong cốt truyện dưới đây, từ Thissen & Orlando (2001). Các tác giả này đang thảo luận về mặt kỹ thuật mô hình ogive bình thường từ lý thuyết phản hồi vật phẩm, trông khá giống với hồi quy probit cho mục đích của chúng tôi (lưu ý rằng các tác giả này sử dụng $\theta$ thay cho $X$ và xác suất được viết bằng $T$ thay vì thông thường $P$ ).

Chúng ta có thể giải thích hồi quy logistic theo cách khá chính xác theo cùng một cách . Sự khác biệt duy nhất là hiện nay không quan sát liên tục sau một hậu cần phân phối, không phải là một phân phối chuẩn, với . Một lập luận lý thuyết về lý do tại sao có thể tuân theo phân phối logistic chứ không phải phân phối bình thường thì rõ ràng hơn một chút ... nhưng vì đường cong logistic kết quả trông giống như CDF bình thường cho các mục đích thực tế (sau khi thay đổi kích thước), có thể cho rằng nó đã thắng ' t có xu hướng quan trọng nhiều trong thực tế mô hình bạn sử dụng. Vấn đề là cả hai mô hình có một diễn giải biến tiềm ẩn khá đơn giản. $Y$ $X$ $Y$

Tôi muốn biết liệu chúng ta có thể áp dụng các diễn giải biến tiềm ẩn tương tự (hoặc, địa ngục, trông không giống nhau) cho các GLM khác - hoặc thậm chí cho bất kỳ GLM nào không .

Ngay cả việc mở rộng các mô hình ở trên để tính đến kết quả Binomial với (nghĩa là không chỉ kết quả Bernoulli) đối với tôi không hoàn toàn rõ ràng. Có lẽ người ta có thể làm điều này bằng cách tưởng tượng rằng thay vì có một ngưỡng đơn , chúng tôi có nhiều ngưỡng (một ít so với số lượng các kết quả quan sát rời rạc). Nhưng chúng ta sẽ cần áp đặt một số ràng buộc đối với các ngưỡng, giống như chúng cách đều nhau. Tôi khá chắc chắn một cái gì đó như thế này có thể hoạt động, mặc dù tôi đã không tìm hiểu chi tiết. $n>1$ $\gamma$

Chuyển sang trường hợp hồi quy Poisson dường như thậm chí còn chưa rõ ràng đối với tôi. Tôi không chắc liệu khái niệm ngưỡng sẽ là cách tốt nhất để suy nghĩ về mô hình trong trường hợp này. Tôi cũng không chắc loại phân phối nào chúng ta có thể hình dung về kết quả tiềm ẩn như có.

Các giải pháp được ưa chuộng nhất để đây sẽ là một cách tổng quát của giải thích bất kỳ GLM về biến ẩn với một số phân phối hoặc khác - ngay cả khi giải pháp chung này là để ngụ ý một khác nhau giải thích biến tiềm ẩn so với cái thông thường cho hồi quy logit / probit. Tất nhiên, sẽ còn tuyệt hơn nữa nếu phương pháp chung đồng ý với các cách hiểu thông thường về logit / probit, nhưng cũng mở rộng một cách tự nhiên sang các GLM khác.

Nhưng ngay cả khi các diễn giải biến tiềm ẩn như vậy thường không có sẵn trong trường hợp GLM chung, tôi cũng muốn nghe về các diễn giải biến tiềm ẩn của các trường hợp đặc biệt như các trường hợp Binomial và Poisson mà tôi đã đề cập ở trên.

Tài liệu tham khảo

Thissen, D. & Orlando, M. (2001). Lý thuyết đáp ứng mục cho các mục ghi trong hai loại. Trong D. Thissen & Wainer, H. (Eds.), Kiểm tra chấm điểm (trang 73-140). Mahwah, NJ: Lawrence Erlbaum Associates, Inc.

Chỉnh sửa 2016-09-23

$\mu$ $Y$ $X$ $Y$ $\gamma$

— Jake Westfall
nguồn

Chúng tôi có thể định nghĩa lại câu hỏi của bạn là "đối với các gia đình GLM nào thì công cụ dự đoán tuyến tính tương ứng với một tham số vị trí cho một số phân phối liên tục và mô hình lựa chọn không?" Đối với hồi quy Probit và Logistic, bộ dự báo tuyến tính lần lượt là tham số vị trí phân phối Gaussian và Logistic. Mô hình lựa chọn được chia ở mức 0. (FWIW, tôi không nghĩ sẽ có nhiều người khác - và thực tế Probit / Logistic là cùng một gia đình, nhưng có chức năng liên kết khác nhau ...)

— Andrew M

@AndrewM Tôi nghĩ rằng việc chia sẻ lại có thể có hiệu quả đối với GLM với kết quả riêng biệt. Nhưng tôi ngần ngại giảm toàn bộ câu hỏi xuống vì tôi thực sự không thể thấy làm thế nào một mô hình lựa chọn + vị trí như vậy có thể hoạt động cho GLM với kết quả liên tục. Vì vậy, việc chia sẻ lại dường như gần như không có câu trả lời cho những GLM đó

— Jake Westfall

Các mô hình lớp tiềm ẩn rơi vào loại mô hình hỗn hợp hữu hạn. Một cách đơn giản để suy nghĩ về chúng là chúng là các mô hình học tập được giám sát, ở mặt sau, phân vùng sự không đồng nhất trong phần dư từ mô hình thành các nhóm. Một logic và phân vùng tương tự có thể được áp dụng cho tính không đồng nhất vốn có trong phần dư từ bất kỳ mô hình nào, bao gồm cả GLM. Tất nhiên, cách tiếp cận để phân vùng này có thể là một lựa chọn không cần thiết và nó có thể là một giải pháp kluge, nhưng nó có thể được thực hiện để hoạt động.

— Mike Hunter

f (y_{i} | η_{i})

$f(y_i|\eta_i)$

g (θ_{i} | η_{i})

$g(\theta_i|\eta_i)$

f (y_{i} | η_{i}) = \int f (y_{i} | η_{i}, θ_{i}) g (θ_{i} | η_{i}) d θ_{i}

$f(y_i|\eta_i) = \int f(y_i|\eta_i, \theta_i) g(\theta_i|\eta_i) d\theta_i$

— Andrew M

Các probit có trật tự có thể có một cách giải thích tương tự. Xem Becker & Kennedy giấy trong ET.

— Dimitriy V. Masterov

Đối với các mô hình có nhiều kết quả riêng biệt, có một số phiên bản của mô hình logit (ví dụ: logit có điều kiện, logit đa phương thức, logit hỗn hợp, logit lồng nhau, ...). Xem sách của Kenneth Train về chủ đề này: http : // eml.ber siêu.edu / books / cheap2.html

$y$ $J$ $j$ $x_j$ $i$ $u_{ij} = x_j \beta + \varepsilon_{ij}$ $j$ $\varepsilon_{ij}$ $j$

Pr (y = = j) = = \frac{điểm kinh nghiệm (x_{j} β)}{Σ_{k = = 1}^{J} điểm kinh nghiệm (x_{k} β)}

$\Pr(y=j) = \frac{\exp(x_j \beta)}{\sum_{k=1}^J \exp (x_k \beta)}$

$u_{ij}$ $\beta$

$u$

Lưu ý rằng không có tham số "ngưỡng" nào ở đây: thay vào đó, khi một tiện ích trở nên lớn hơn mức lớn nhất trước đó, thì người tiêu dùng sẽ chuyển sang chọn lựa chọn thay thế đó.

$x_j \beta$

— Siêu nhân
nguồn