Lựa chọn tính năng trên mô hình tuyến tính tổng quát phân cấp Bayes

8

Tôi đang tìm cách ước tính một GLM phân cấp nhưng với lựa chọn tính năng để xác định các hiệp phương sai nào có liên quan ở cấp độ dân số.

Giả sử tôi có các nhóm với quan sát và biến có thể có nghĩa là tôi có ma trận thiết kế của covariates , kết quả . Các hệ số trên các hiệp phương sai này là . $G$ $N$ $K$ $\boldsymbol{x}_{(N\cdot G) \times K}$ $\boldsymbol{y}_{(N\cdot G) \times 1}$ $\beta_{K \times 1}$

Giả sử $Y$ ~ $Bernoulli(p(x,\beta))$

Dưới đây là một GLM phân cấp tiêu chuẩn với mô hình lấy mẫu logit và các hệ số nhóm phân phối thông thường.

L (y | x, β_{1}, . . . β_{G}) \propto \prod_{g = 1}^{G} \prod_{t = 1}^{N} {(Pr {j = 1 | p_{t}, β^{g}})}^{y_{g, t}} {(1 - Pr {j = 1 | p_{t}, β^{g}})}^{1 - y_{g, t}}

${\cal L}\left(\boldsymbol{y}|\boldsymbol{x},\beta_{1},...\beta_{G}\right)\propto\prod_{g=1}^{G}\prod_{t=1}^{N}\left(\Pr\{j=1|p_{t},\beta^{g}\}\right)^{y_{g,t}}\left(1-\Pr\{j=1|p_{t},\beta^{g}\}\right)^{1-y_{g,t}}$

β_{1}, . . . β_{G} | μ, Σ \sim^{i i d} N_{d} (μ, Σ)

$\beta_{1},...\beta_{G}|\mu,\Sigma\sim^{iid}{\cal N}_{d}\left(\mu,\Sigma\right)$

μ | Σ \sim N (μ_{0}, a^{- 1} Σ)

$\mu|\Sigma\sim{\cal N}\left(\mu_{0},a^{-1}\Sigma\right)$

Σ \sim I W (v_{0}, V_{0}^{- 1})

$\Sigma\sim{\cal IW}\left(v_{0},V_{0}^{-1}\right)$

Tôi muốn sửa đổi mô hình này (hoặc tìm một bài báo thực hiện hoặc thảo luận về nó) theo cách có một số lựa chọn tính năng sắc nét (như trong LASSO) về tính chiều của $\beta$ .

(1) Cách trực tiếp đơn giản nhất sẽ là thường xuyên hóa điều này ở cấp độ dân số để về cơ bản chúng tôi hạn chế kích thước của và tất cả có cùng một chiều. $\mu$ $\beta$

(2) Mô hình nhiều sắc thái hơn sẽ có độ co rút ở cấp độ nhóm, trong đó kích thước của phụ thuộc vào đơn vị chữ tượng hình. $\beta$

Tôi quan tâm đến việc giải quyết 1 và 2, nhưng quan trọng hơn nhiều là 1.

— sói
nguồn

1

Cách tôi giải quyết (1) sẽ liên quan đến mô hình cành và phiến giống như:

$\beta_{g,k} = z_{k}m_{g,k}$

$z_k \sim Bern(p)$

$m_{g,k} \sim N(\mu, \Sigma)$

$\mu, \Sigma \sim NIW_{v_0}(\mu_0, V_0^{-1})$

Điều này:

Duy trì tính linh hoạt trên 'từ NIW trước . $\beta$ $\mu, \Sigma$
Mô hình lựa chọn các biến cho tất cả các nhóm cùng một lúc.
Dễ dàng mở rộng bằng cách thêm chỉ mục phụ cho nhóm vào và có bản beta chung trước cho từng vị trí . $z_{g,k}$ $k$

Tất nhiên, tôi nghĩ rằng đây là loại vấn đề trong đó có một số cách tiếp cận hợp lệ.

— phỏng đoán
nguồn

2

Lựa chọn tính năng không phải là một mục tiêu tuyệt vời để có trong một phân tích. Trừ khi tất cả các yếu tố dự đoán không tương quan với nhau và kích thước mẫu của bạn là rất lớn, dữ liệu sẽ không thể cho bạn biết câu trả lời một cách đáng tin cậy. Đặc tả mô hình quan trọng hơn lựa chọn mô hình. Thông tin chi tiết có trong Ghi chú khóa học RMS của tôi . Nhưng thu nhỏ, không có lựa chọn tính năng (ví dụ: sườn núi hoặc ước tính khả năng tối đa bị phạt ) có thể là một ý tưởng tốt. Các mô hình Bayes phân cấp thậm chí còn tốt hơn bởi vì chúng cho phép suy luận thống kê trong mô hình thu nhỏ trong khi chúng ta mất hầu hết các công cụ suy luận trong thế giới thường xuyên sau khi thu hẹp. $L_{2}$

— Frank Mitchell
nguồn