Phân vùng phương sai và thay đổi theo chiều dọc trong tương quan với dữ liệu nhị phân

Tôi đang phân tích dữ liệu về 300.000 học sinh ở 175 trường với mô hình hiệu ứng hỗn hợp tuyến tính logistic (chặn ngẫu nhiên). Mỗi học sinh xảy ra chính xác một lần và dữ liệu kéo dài 6 năm.

Làm cách nào để phân vùng phương sai giữa trường và cấp học sinh, theo cách tương tự với VPC / ICC cho kết quả liên tục? Tôi đã thấy này bài viết trong đó đề xuất 4 phương pháp, trong đó A và B xuất hiện thú vị với tôi, nhưng tôi muốn biết những gì ưu điểm / nhược điểm có thể có trong việc sử dụng một trong hai trong số này, và dĩ nhiên là nếu có bất kỳ cách nào khác để làm nó
Làm thế nào tôi có thể so sánh phương sai còn lại ở cấp trường từ năm này sang năm khác (hoặc bất kỳ khoảng thời gian nào khác)? Cho đến nay tôi đã thực hiện điều này bằng cách chia dữ liệu theo năm và chạy mô hình theo từng năm dữ liệu nhưng tôi nghĩ rằng điều này là thiếu sót bởi vì: i) không có lý do rõ ràng tại sao tôi nên chia theo năm ; và ii) vì ước tính hiệu ứng cố định là khác nhau cho mỗi năm, so sánh hiệu ứng ngẫu nhiên theo năm có thể không có ý nghĩa (đây chỉ là trực giác của tôi sẽ rất tuyệt nếu ai đó có thể giải thích điều này chính thức hơn, nếu nó chính xác).

LƯU Ý: Tôi đã viết lại câu hỏi này sau khi thảo luận về meta với whuber và Macro

mixed-model binary-data

— Joe King
nguồn

Tôi nghĩ rằng đây là một cải tiến lớn. Câu hỏi bây giờ rất rõ ràng. Ngay bây giờ tôi không có thời gian để đưa ra phản hồi có tổ chức nhưng tôi sẽ đăng câu trả lời sau.

— Macro

Các mô hình hiệu ứng hỗn hợp hậu cần có vẻ như là một chủ đề cực kỳ tiên tiến cho trường trung học. Chúng có phải là một phần của giáo trình trung học của bạn hay bạn đang học độc lập?

— đánh dấu999

@ mark999 Tôi đang học độc lập. Thật ra tôi đang cố chứng minh anh tôi đã sai khi nói rằng "không có cách nào bạn có thể hiểu điều này" . Anh ấy đang làm một văn bằng về thống kê để tôi có quyền truy cập vào tất cả các cuốn sách của anh ấy, v.v. (khi anh ấy đang tốt đẹp).

— Joe King

Đặt biểu thị vectơ phản ứng và dự đoán (tương ứng) của học sinh trong trường . $y_{ij}, {\boldsymbol x}_{ij}$ $i$ $j$

(1) Đối với dữ liệu nhị phân, tôi nghĩ rằng cách tiêu chuẩn để thực hiện phân tách phương sai tương tự như dữ liệu được thực hiện cho dữ liệu liên tục là cách mà các tác giả gọi Phương thức D (tôi sẽ nhận xét về các phương pháp khác bên dưới) trong liên kết của bạn - hình dung dữ liệu nhị phân như phát sinh từ một biến liên tục cơ bản được điều chỉnh bởi một mô hình tuyến tính và phân rã phương sai trên thang đo tiềm ẩn đó. Lý do là các mô hình logistic (và các GLM khác) tự nhiên phát sinh theo cách này--

Để thấy điều này, hãy xác định sao cho nó được điều chỉnh bởi mô hình hỗn hợp tuyến tính: $y^{\star}_{ij}$

y_{i j}^{⋆} = α + x_{i j} β + η_{j} + ε_{i j}

$y^{\star}_{ij} = \alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j + \varepsilon_{ij}$

nơi là hệ số hồi quy, là hiệu ứng ngẫu nhiên cấp trường và là một thuật ngữ sai còn lại và có một tiêu chuẩn phân phối logistic . Bây giờ hãy để $\alpha,\beta$ $\eta_j \sim N(0,\sigma^2)$ $\varepsilon_{ij}$

y_{i j} = {\begin{cases} 1 & if y_{i j}^{⋆} \geq 0 \\ 0 & if y_{i j}^{⋆} < 0 \end{cases}

$y_{ij} = \begin{cases} 1 & \text{if} \ \ \ y^{\star}_{ij}≥0\\ \\ 0 &\text{if} \ \ \ y^{\star}_{ij}<0 \end{cases}$

bây giờ hãy để , chỉ cần sử dụng CDF logistic chúng ta có $p_{ij} = P(y_{ij} = 1|{\boldsymbol x}_{ij},\eta_j)$

p_{i j} = 1 - P (y_{i j}^{⋆} < 0 | x_{i j}, η_{j}) = \frac{\exp {- (α + x_{i j} β + η_{j})}}{1 + \exp {- (α + x_{i j} β + η_{j})}}

$p_{ij} = 1-P(y^{\star}_{ij}<0|{\boldsymbol x}_{ij},\eta_j) = \frac{ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j) \} }{1+ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j) \}}$

Bây giờ thực hiện chuyển đổi logit của cả hai bên, bạn có

\log (\frac{p_{i j}}{1 - p_{i j}}) = α + x_{i j} β + η_{j}

$\log \left( \frac{ p_{ij} }{1 - p_{ij}} \right) = \alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j$

đó chính xác là mô hình hiệu ứng hỗn hợp logistic. Vì vậy, mô hình logistic tương đương với mô hình biến tiềm ẩn được chỉ định ở trên. Một lưu ý quan trọng:

Quy mô của không được xác định từ đó, nếu bạn đã quy mô nó xuống nhưng một hằng số , nó sẽ chỉ đơn giản là thay đổi ở trên để $\varepsilon_{ij}$ $s$

\frac{\exp {- (α + x_{i j} β + η_{j}) / s}}{1 + \exp {- (α + x_{i j} β + η_{j}) / s}}

$\frac{ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j)/s \} }{1+ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j)/s \}}$

$\ \ \ \ \ \ \$ do đó, các hệ số và hiệu ứng ngẫu nhiên sẽ được tăng lên theo số lượng tương ứng. Vì vậy, được sử dụng, trong đó hàm ý .
$\ \ \ \ \ \$ $s=1$ ${\rm var}(\varepsilon_{ij}) = \pi^2/3$

Bây giờ, nếu bạn sử dụng mô hình này và sau đó số lượng

\frac{{\hat{σ}}_{η}^{2}}{{\hat{σ}}_{η}^{2} + π^{2} / 3}

$\frac{ \hat{\sigma}^{2}_{\eta} }{\hat{\sigma}^{2}_{\eta} + \pi^2/3 }$

ước tính tương quan nội hàm của các biến tiềm ẩn cơ bản . Một lưu ý quan trọng khác:

$\varepsilon_{ij}$ $\frac{{\hat{σ}}_{η}^{2}}{{\hat{σ}}_{η}^{2} + 1}$ $\frac{ \hat{\sigma}^{2}_{\eta} }{\hat{\sigma}^{2}_{\eta} + 1 }$

Về các phương pháp khác được đề cập trong bài báo mà bạn liên kết:

${\boldsymbol x}_{ij}$
(B) Phương pháp mô phỏng hấp dẫn trực quan với một nhà thống kê vì nó sẽ cung cấp cho bạn một phân tách phương sai ước tính trên thang đo ban đầu của dữ liệu, nhưng tùy thuộc vào đối tượng, có thể (i) rất phức tạp để mô tả điều này trong "phương pháp" của bạn phần và (ii) có thể tắt một người đánh giá đang tìm kiếm thứ gì đó "chuẩn hơn"
(C) Giả vờ dữ liệu liên tục có lẽ không phải là một ý tưởng hay, mặc dù nó sẽ không thực hiện khủng khiếp nếu hầu hết các xác suất không quá gần 0 hoặc 1. Nhưng, làm điều này gần như chắc chắn sẽ giơ cờ đỏ cho người đánh giá vì vậy tôi sẽ tránh xa

Cuối cùng,

(2) Nếu các hiệu ứng cố định rất khác nhau qua các năm, thì bạn có thể nghĩ rằng khó có thể so sánh các phương sai hiệu ứng ngẫu nhiên qua các năm, vì chúng có khả năng ở các thang đo khác nhau (điều này có liên quan đến tính không thể nhận dạng vấn đề mở rộng quy mô nêu trên).

$I_k = 1$ $k$

α + x_{i j} β + η_{1 j} I_{1} + η_{2 j} I_{2} + η_{3 j} I_{3} + η_{4 j} I_{4} + η_{5 j} I_{5} + η_{6 j} I_{6}

$\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_{1j} I_1 + \eta_{2j} I_2 + \eta_{3j} I_3 + \eta_{4j} I_4 + \eta_{5j} I_5+ \eta_{6j} I_6$

this will give you a different ICCs each year but the same fixed effects. It may be tempting to just use a random slope in time, making your linear predictor

α + x_{i j} β + η_{1} + η_{2} t

$\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_{1} + \eta_{2} t$

but I don't recommend this, since that will only allow your associations to increase over time, not decrease.

— Macro
nguồn

Please would you give me your comment to address the point in the linked article about this variance partitioning technique that says "This approach may be reasonable where the (0, 1) response is, say, derived from a truncation of an underlying continuum such as a pass/fail response based upon a continuous mark scale, but would seem to have less justification when the response is truly discrete, such as mortality or voting". In my case I am dealing with the incidence of bullying, which falls into the latter category, I think...

— Joe King

@JoeKing, I would say that logistic/probit (and similar) regression models already assume that the data are generated from an underlying continuum, since the model can be shown to be equivalent to that. Therefore, if one is even using such models, then they must find that assumption to be defensible :)

— Macro

@JoeKing, if you consider this answer definitive please consider accepting :)

— Macro

I will indeed. At the moment I'm a bit uncertain about a few points and I'd like to come back to you after I've had a little time (couple of days) to read around a little, and look at the data some more, if you don't mind ?

— Joe King

@JoeKing Tất nhiên - một số thành viên mới không biết, vì vậy tôi nghĩ tôi đã chỉ ra điều đó - nó không có nghĩa là gây áp lực cho bạn cả

— Macro