Khi nào tôi nên * không * cho phép một hiệu ứng cố định thay đổi theo các mức hiệu ứng ngẫu nhiên trong mô hình hiệu ứng hỗn hợp?

15

Cho một biến dự đoán (P), hiệu ứng ngẫu nhiên (R) và hiệu ứng cố định (F), người ta có thể phù hợp với hai * mô hình hiệu ứng hỗn hợp ( cú pháp lme4 ):

m1 = lmer( P ~ (1|R) + F )
m2 = lmer( P ~ (1+F|R) + F)

Theo tôi hiểu, mô hình thứ hai là mô hình cho phép hiệu ứng cố định thay đổi theo các mức độ của hiệu ứng ngẫu nhiên.

Trong nghiên cứu của tôi, tôi thường sử dụng các mô hình hiệu ứng hỗn hợp để phân tích dữ liệu từ các thí nghiệm được thực hiện trên nhiều người tham gia. Tôi mô hình người tham gia như một hiệu ứng ngẫu nhiên và các thao tác thử nghiệm như các hiệu ứng cố định. Tôi nghĩ sẽ hợp lý khi để mức độ của các hiệu ứng cố định ảnh hưởng đến hiệu suất trong thử nghiệm khác nhau giữa những người tham gia. Tuy nhiên, tôi gặp khó khăn khi tưởng tượng các trường hợp theo đó tôi cũng không nên cho phép các hiệu ứng cố định thay đổi theo các mức độ của hiệu ứng ngẫu nhiên, vì vậy câu hỏi của tôi là:

Khi cần một không cho phép một tác dụng cố định khác nhau giữa các mức độ ảnh hưởng ngẫu nhiên?

mixed-model

— Mike Lawrence
nguồn

Tôi vẫn chưa hiểu đầy đủ cú pháp lme4, vì vậy tôi tò mò muốn xem câu trả lời. Nhưng tôi có linh cảm rằng nó liên quan đến sự khác biệt sau: P là khoảng thời gian học sinh dành làm bài tập về nhà, R là một điều trị ở cấp lớp và F là học sinh. (Chúng ta cũng nên có một hiệu ứng ngẫu nhiên cho chính lớp học.) Nếu tất cả học sinh phải tuân theo tất cả các phương pháp điều trị R tại các thời điểm khác nhau, các mức F có thể so sánh giữa các lớp. Nếu chúng ta đo lường toàn bộ một trường học cùng một lúc, chúng ta có các học sinh khác nhau trong mỗi lớp, vì vậy các cấp độ F trong các lớp học khác nhau không liên quan gì đến nhau.

— Thomas Levine

11

Tôi không phải là một chuyên gia về mô hình hiệu ứng hỗn hợp, nhưng câu hỏi dễ trả lời hơn nhiều nếu nó được lặp lại trong bối cảnh mô hình hồi quy phân cấp. Vì vậy, các quan sát của chúng tôi có hai chỉ số và với chỉ số đại diện cho lớp và thành viên của lớp. Các mô hình phân cấp cho phép chúng ta phù hợp với hồi quy tuyến tính, trong đó các hệ số khác nhau giữa các lớp: $P_{ij}$ $F_{ij}$ $i$ $j$

Y_{Tôi j} = = β_{0 Tôi} + β_{1 Tôi} F_{Tôi j}

$Y_{ij}=\beta_{0i}+\beta_{1i}F_{ij}$

Đây là hồi quy cấp đầu tiên của chúng tôi. Hồi quy cấp thứ hai được thực hiện trên các hệ số hồi quy thứ nhất:

\begin{aligned} β_{0 Tôi} & = = γ_{00} + {bạn}_{0 Tôi} \\ β_{1 Tôi} & = = γ_{01} + {bạn}_{1 Tôi} \end{aligned}

$\begin{align*} \beta_{0i}&=\gamma_{00}+u_{0i}\\ \beta_{1i}&=\gamma_{01}+u_{1i} \end{align*}$

Khi chúng ta thay thế điều này trong hồi quy cấp đầu tiên, chúng ta sẽ nhận được

\begin{aligned} Y_{Tôi j} & = = (γ_{0} + {bạn}_{0 Tôi}) + (γ_{01} + {bạn}_{1 Tôi}) F_{Tôi j} \\ = = γ_{0} + {bạn}_{0 Tôi} + {bạn}_{1 Tôi} F_{Tôi j} + γ_{01} F_{Tôi j} \end{aligned}

$\begin{align*} Y_{ij}&=(\gamma_0+u_{0i})+(\gamma_{01}+u_{1i})F_{ij}\\ &=\gamma_0+u_{0i}+u_{1i}F_{ij}+\gamma_{01}F_{ij} \end{align*}$

Dưới đây được cố định ảnh hưởng và là hiệu ứng ngẫu nhiên. Dự toán mô hình hỗn hợp và phương sai của . $\gamma$ $u$ $\gamma$ $u$

Mô hình tôi đã viết tương ứng với lmercú pháp

P ~ (1+F|R) + F

Bây giờ nếu chúng ta đặt mà không có thuật ngữ ngẫu nhiên, chúng tôi nhận được $\beta_{1i}=\gamma_{01}$

\begin{aligned} Y_{Tôi j} = = γ_{0} + {bạn}_{0 Tôi} + γ_{01} F_{Tôi j} \end{aligned}

$\begin{align*} Y_{ij}=\gamma_0+u_{0i}+\gamma_{01}F_{ij} \end{align*}$

tương ứng với lmercú pháp

P ~ (1|R) + F

Vì vậy, câu hỏi bây giờ trở thành khi nào chúng ta có thể loại trừ thuật ngữ lỗi khỏi hồi quy cấp hai? Câu trả lời chính tắc là khi chúng ta chắc chắn rằng các biến hồi quy (ở đây chúng ta không có bất kỳ, nhưng chúng ta có thể bao gồm chúng, chúng tự nhiên là hằng số trong các lớp) trong hồi quy cấp hai giải thích đầy đủ phương sai của các hệ số giữa các lớp.

Vì vậy, trong trường hợp cụ thể này nếu hệ số không thay đổi, hoặc thay vào đó, phương sai của là rất nhỏ, chúng ta nên giải trí rằng chúng ta có thể tốt hơn với mô hình đầu tiên. $F_{ij}$ $u_{1i}$

Lưu ý . Tôi chỉ đưa ra lời giải thích đại số, nhưng tôi nghĩ rằng trong tâm trí nó dễ dàng hơn nhiều để nghĩ về ví dụ được áp dụng cụ thể.

— mpiktas
nguồn

Nên phương trình đầu tiên có một thuật ngữ lỗi cũng như:

Y_{i j} = β_{0 i} + β_{1 i} F_{i j} + e_{i j}

$Y_{ij}=β_{0i}+β_{1i}F_{ij}+e_{ij}$

— Nikita Samoylov

vâng, nhưng tôi đã bỏ qua nó cho rõ ràng, tôi nghĩ vậy.

— mpiktas

9

Bạn có thể nghĩ "Hiệu ứng cố định" là "hiệu ứng ngẫu nhiên" với thành phần phương sai bằng không.

Vì vậy, một câu trả lời đơn giản về lý do tại sao bạn không để hiệu ứng cố định thay đổi, là không đủ bằng chứng cho một thành phần phương sai "đủ lớn". Bằng chứng phải đến từ cả thông tin trước và dữ liệu. Điều này phù hợp với nguyên tắc "dao cạo" cơ bản: không làm cho mô hình của bạn phức tạp hơn mức cần thiết.

Tôi có xu hướng nghĩ về các mô hình hỗn hợp tuyến tính theo cách sau, viết ra một hồi quy bội như sau:

Y = = X β + Z bạn + e

$Y=X\beta+Zu+e$

$X\beta$ $Zu$ $e$ $u\sim N(0,D(\theta))$ $\theta$ $e\sim N(0,\sigma^{2}I)$ $(Zu+e)\sim N(0,ZD(\theta)Z^{T}+\sigma^{2}I)$

Y ~ N (X β, Z D (θ) Z^{T} + σ^{2} Tôi)

$Y\sim N(X\beta,ZD(\theta)Z^{T}+\sigma^{2}I)$

$Z=0$

Y ~ N (X β, σ^{2} Tôi)

$Y\sim N(X\beta,\sigma^{2}I)$

Vì vậy, phần "ngẫu nhiên" của mô hình có thể được coi là một cách chỉ định thông tin trước về cấu trúc tương quan của thành phần nhiễu hoặc lỗi trong mô hình. OLS về cơ bản giả định rằng bất kỳ một lỗi nào từ phần cố định của mô hình trong một trường hợp là vô ích để dự đoán bất kỳ lỗi nào khác, ngay cả khi chúng tôi biết chắc chắn phần cố định của mô hình. Thêm một hiệu ứng ngẫu nhiên về cơ bản nói rằng bạn nghĩ rằng một số lỗi có thể hữu ích trong việc dự đoán các lỗi khác.

— xác suất
nguồn

4

Đây là một câu hỏi khá cũ với một số câu trả lời rất hay, tuy nhiên tôi nghĩ nó có thể được hưởng lợi từ một câu trả lời mới để giải quyết một quan điểm thực dụng hơn.

Khi nào thì không nên cho phép một hiệu ứng cố định thay đổi giữa các cấp độ của một hiệu ứng ngẫu nhiên?

Tôi sẽ không giải quyết các vấn đề đã được mô tả trong các câu trả lời khác, thay vào đó tôi sẽ đề cập đến bài báo nổi tiếng hiện nay, mặc dù tôi muốn nói rằng bài báo "khét tiếng" của Barr et al (2013) thường chỉ được gọi là "Giữ tối đa"

Barr, DJ, Levy, R., Scheepers, C. và Tily, HJ, 2013. Cấu trúc hiệu ứng ngẫu nhiên để kiểm tra giả thuyết xác nhận: Giữ cho nó tối đa. Tạp chí của bộ nhớ và ngôn ngữ, 68 (3), tr.255-278.

Trong bài báo này, các tác giả cho rằng tất cả các hiệu ứng cố định nên được cho phép thay đổi theo các cấp độ của các yếu tố nhóm (chặn ngẫu nhiên). Lập luận của họ khá hấp dẫn - về cơ bản là bởi không cho phép họ thay đổi, đó là áp đặt các ràng buộc đối với mô hình. Điều này được mô tả tốt trong các câu trả lời khác. Tuy nhiên, có những vấn đề nghiêm trọng tiềm tàng với phương pháp này, được mô tả bởi Bates el al (2015):

Bates, D., Kliegl, R., Vasishth, S. và Baayen, H., 2015. Mô hình hỗn hợp rắc rối. bản in sẵn arXiv arXiv arXiv: 1506.04967

Điều đáng chú ý ở đây là Bates là tác giả chính của lme4gói phù hợp với các mô hình hỗn hợp trong R, có lẽ là gói được sử dụng rộng rãi nhất cho các mô hình như vậy. Bates et al lưu ý rằng trong nhiều ứng dụng trong thế giới thực, dữ liệu đơn giản sẽ không hỗ trợ cấu trúc hiệu ứng ngẫu nhiên tối đa, thường là do không đủ số lượng quan sát trong mỗi cụm cho các biến liên quan. Điều này có thể thể hiện trong các mô hình không hội tụ hoặc là số ít trong các hiệu ứng ngẫu nhiên. Số lượng lớn các câu hỏi trên trang web này về các mô hình như vậy chứng thực điều đó. Họ cũng lưu ý rằng Barr et al đã sử dụng một mô phỏng tương đối đơn giản, với các hiệu ứng ngẫu nhiên "hoạt động tốt" làm cơ sở cho bài báo của họ. Thay vào đó Bates et al đề xuất cách tiếp cận sau:

Chúng tôi đã đề xuất (1) sử dụng PCA để xác định tính chiều của ma trận phương sai hiệp phương sai của cấu trúc hiệu ứng ngẫu nhiên, (2) để hạn chế các tham số tương quan về 0, đặc biệt khi một nỗ lực ban đầu để phù hợp với mô hình tối đa không hội tụ, và (3) loại bỏ các thành phần phương sai không đáng kể và các tham số tương quan liên quan của chúng khỏi mô hình

Trong cùng một bài báo, họ cũng lưu ý:

Điều quan trọng, việc không hội tụ không phải do lỗi của thuật toán ước tính, mà là hậu quả đơn giản của việc cố gắng phù hợp với một mô hình quá phức tạp để được dữ liệu hỗ trợ chính xác.

Và:

mô hình tối đa là không cần thiết để bảo vệ chống lại kết luận chống bảo thủ. Sự bảo vệ này được cung cấp đầy đủ bởi các mô hình toàn diện được hướng dẫn bởi những kỳ vọng thực tế về sự phức tạp mà dữ liệu có thể hỗ trợ. Trong thống kê, như những nơi khác trong khoa học, sự khôn ngoan là một đức tính, không phải là một phó.

Bates và cộng sự (2015)

Từ góc độ ứng dụng nhiều hơn, cần xem xét thêm là liệu quá trình tạo dữ liệu, lý thuyết sinh học / vật lý / hóa học làm cơ sở dữ liệu, nên hướng dẫn nhà phân tích chỉ định cấu trúc hiệu ứng ngẫu nhiên.

— Robert Long
nguồn

"Thường bởi vì không có đủ số lượng quan sát trong mỗi cụm" bạn có thể giải thích về điều này không? Tôi nghĩ, số lượng yêu cầu tối thiểu cho mỗi cụm là 1? Đây thậm chí là câu trả lời được chấp nhận của bạn ở đây: stats.stackexchange.com/questions/388937/ trên

— LuckyPal

@LuckyPal câu hỏi bạn liên kết là về các lần chặn ngẫu nhiên, câu hỏi này là về độ dốc ngẫu nhiên. Làm thế nào bạn sẽ ước tính độ dốc cho kích thước mẫu là 1?

— Robert Long

Điểm lấy. Cảm ơn! +1 Nhưng chúng ta có thể ước tính độ dốc cố định chỉ với một quan sát trên mỗi cụm nếu có đủ cụm, phải không? Điều này có vẻ hơi lạ. Có lẽ, khi có các vấn đề hội tụ với độ dốc ngẫu nhiên do kích thước mẫu, việc ước tính độ dốc - cho dù đó là ngẫu nhiên hay không - nói chung có thể gây nghi ngờ?

— LuckyPal

@LuckyPal có, ước tính độ dốc cố định nằm trên tất cả các cụm, vì vậy đó thường không phải là vấn đề. Tôi đồng ý rằng việc ước tính độ dốc ngẫu nhiên với các cụm nhỏ có thể dẫn đến các vấn đề hội tụ, nhưng nó không ảnh hưởng đến ước tính độ dốc cố định.

— Robert Long