Chuẩn hóa L2 so với co rút hiệu ứng ngẫu nhiên

Một tính chất cơ bản của hồi quy hiệu ứng ngẫu nhiên là các ước tính đánh chặn ngẫu nhiên bị "thu hẹp" đối với giá trị trung bình chung của phản ứng như là một hàm của phương sai tương đối của mỗi ước tính.

{\hat{U}}_{j} = ρ_{j} {\bar{y}}_{j} + (1 - ρ_{j}) \bar{y}

$\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y}$ trong đó

ρ_{j} = τ^{2} / (τ^{2} + σ^{2} / n_{j}) .

$\rho_j = \tau^2 / (\tau^2 + \sigma^2/n_j).$

Đây cũng là trường hợp với các mô hình hỗn hợp tuyến tính tổng quát (GLMM) như hồi quy logistic.

Làm thế nào độ co rút đó tốt hơn / khác với hồi quy logistic hiệu ứng cố định với một mã hóa nóng của các biến ID và co rút thông qua chính quy L2?

Trong mô hình hiệu ứng cố định, tôi có thể kiểm soát mức độ co ngót bằng cách thay đổi hình phạt của mình, , chính quy hóa L2 trong khi trong mô hình hiệu ứng ngẫu nhiên tôi không kiểm soát được mức độ co ngót. Sẽ là chính xác khi nói "sử dụng mô hình hiệu ứng ngẫu nhiên nếu mục tiêu là suy luận nhưng sử dụng mô hình hiệu ứng cố định nếu mục tiêu là dự đoán"? $\lambda$

mixed-model regularization shrinkage

— Paman Gujral
nguồn

Đó là một chút quá mức. Sự co lại trong hồi quy hiệu ứng hỗn hợp được cân bằng bởi sự cân bằng tổng thể giữa các "lớp" / "nhóm" trong các cấu trúc hiệu ứng ngẫu nhiên, do đó không phải là bạn không được chọn, mà là kích thước và sức mạnh nhóm của bạn bằng chứng chọn. (Hãy nghĩ về nó như một ý nghĩa lớn có trọng số). Hơn nữa, các mô hình hiệu ứng hỗn hợp rất hữu ích khi bạn có một số nhóm nhưng chỉ có rất ít dữ liệu trong mỗi nhóm: cấu trúc tổng thể và gộp một phần cho phép suy luận tốt hơn ngay cả trong mỗi nhóm!

Ngoài ra còn có các biến thể LASSO (L1-normalized), sườn núi (L2-normalized) và lưới đàn hồi (kết hợp các biến thể L1 và L2) của các mô hình hỗn hợp. Nói cách khác, những điều này là trực giao. Theo thuật ngữ Bayes, bạn có được độ co rút hiệu ứng hỗn hợp thông qua cấu trúc mô hình phân cấp / đa cấp và chính quy thông qua sự lựa chọn của bạn trước khi phân phối các hệ số mô hình.

Có lẽ sự nhầm lẫn xuất phát từ việc sử dụng thường xuyên trong "học máy" (trong đó dự đoán là mục tiêu) nhưng việc sử dụng thường xuyên các hiệu ứng hỗn hợp trong "thống kê" (trong đó suy luận là mục tiêu), nhưng đó lại là tác dụng phụ của việc khác các khía cạnh của bộ dữ liệu phổ biến trong các lĩnh vực như vậy (ví dụ kích thước) và mối quan tâm tính toán. Các mô hình hiệu ứng hỗn hợp thường khó phù hợp hơn, vì vậy nếu một mô hình hiệu ứng cố định thường xuyên mà bỏ qua một số cấu trúc dữ liệu là đủ tốt cho các dự đoán bạn cần, thì có thể không phù hợp với mô hình hiệu ứng hỗn hợp. Nhưng nếu bạn cần suy luận về dữ liệu của mình, thì việc bỏ qua cấu trúc của nó sẽ là một ý tưởng tồi.

— Livius
nguồn

chính xác và câu trả lời điểm.

— Subhash C. Davar

Cảm ơn Livius. Là sự co lại của các hiệu ứng ngẫu nhiên tương tự như làm Bayes theo kinh nghiệm? Nếu có, thì nó vẫn có ý nghĩa để thu nhỏ hơn nữa một mô hình hiệu ứng ngẫu nhiên với chuẩn hóa L2 / Bayes trên đầu? Mục tiêu của tôi là xếp hạng các nhóm theo BLUP và sử dụng xếp hạng trong mô hình dự đoán giai đoạn tiếp theo.

— Paman Gujral

Tôi đang xây dựng một mô hình dự đoán trên bộ dữ liệu chăm sóc sức khỏe ở cấp độ tập có chứa nhiều tập bệnh viện cho mỗi ID thành viên. Hầu hết các thành viên có ít hơn 5 tập. Tôi nghĩ rằng đây là trường hợp áp dụng cả hồi quy lasso hoặc sườn cho các hiệu ứng cố định, cộng với hiệu ứng ngẫu nhiên cho trường ID thành viên, sẽ phù hợp.

— RobertF

@PamanGujral bạn có thể muốn xem "Ước tính các thông số hiệu ứng ngẫu nhiên trong các mô hình hồi quy logistic hiệu ứng hỗn hợp" của Ten Have và Localio

— AdamO

"Các mô hình hiệu ứng hỗn hợp thường khó phù hợp hơn .." Nếu mục đích là để tính tương quan giữa các bản ghi chia sẻ cùng một ID và có hàng ngàn hoặc hàng triệu ID duy nhất, việc thêm một thuật ngữ chặn ngẫu nhiên đơn giản vào công thức hồi quy bằng cách sử dụng công thức được liệt kê trong câu hỏi của OP có vẻ hợp lý và khá đơn giản bước đầu tiên. Bạn chỉ ước tính hai tham số thay vì thuật ngữ hiệu ứng cố định cho mỗi ID duy nhất trừ đi một tham số, giúp tiết kiệm nhiều mức độ tự do hơn.

— RobertF