Tại sao các mô hình hiệu ứng hỗn hợp giải quyết sự phụ thuộc?

Giả sử chúng tôi quan tâm đến việc điểm thi của học sinh bị ảnh hưởng như thế nào bởi số giờ học của những học sinh đó. Để khám phá mối quan hệ này, chúng ta có thể chạy hồi quy tuyến tính sau:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$$

Nhưng nếu chúng ta lấy mẫu học sinh từ một số trường khác nhau, chúng ta có thể mong đợi học sinh trong cùng một trường giống nhau hơn so với học sinh từ các trường khác nhau. Để giải quyết vấn đề phụ thuộc này, lời khuyên trong nhiều sách giáo khoa / trên web, là chạy một hiệu ứng hỗn hợp và vào trường như một hiệu ứng ngẫu nhiên. Vì vậy, mô hình sẽ trở thành:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$$ Nhưng tại sao điều này giải quyết vấn đề phụ thuộc mà đã có mặt trong hồi quy tuyến tính?

Hãy trả lời như thể bạn đang nói chuyện với một đứa trẻ 12 tuổi

Bao gồm các thuật ngữ ngẫu nhiên trong mô hình là một cách để tạo ra một số cấu trúc hiệp phương sai bteween các lớp. Yếu tố ngẫu nhiên cho trường học tạo ra một hiệp phương sai khác không giữa các sinh viên khác nhau từ cùng một trường, trong khi đó là khi trường khác nhau.$0$

Hãy viết mô hình của bạn dưới dạng trong đó s lập chỉ mục trường và tôi lập chỉ mục cho học sinh (ở mỗi trường). Các thuật ngữ học s là các biến ngẫu nhiên độc lập rút ra trong một N ( 0 , τ ) . Các e s , i là các biến độc lập ngẫu nhiên rút ra trong một N ( 0 ,

$$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$$ $s$$i$$\text{school}_s$$\mathcal N(0, \tau)$$e_{s, i}$ .$\mathcal N(0, \sigma^2)$

Vectơ này có giá trị mong đợi được xác định bởi số giờ làm việc.

$$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$$

Hiệp phương sai giữa và Y s ' , i ' là 0 khi s ≠ s ' , có nghĩa là sự ra đi của các lớp từ các giá trị dự kiến là độc lập khi các sinh viên đang không ở trong cùng một trường.$Y_{s,i}$$Y_{s',i'}$$0$$s \ne s'$

Hiệp phương sai giữa và Y s , i ' là τ khi i ≠ i ' , và phương sai của Y s , i là τ + σ 2 : lớp của sinh viên đến từ trường tương tự sẽ có tương quan khởi hành từ các giá trị mong đợi của họ .$Y_{s,i}$$Y_{s,i'}$$\tau$$i \ne i'$$Y_{s,i}$$\tau + \sigma^2$

Ví dụ và dữ liệu mô phỏng

Đây là một mô phỏng R viết tắt của năm mươi sinh viên đến từ năm trường (ở đây tôi lấy ); tên của biến là tài liệu tự: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

$\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

$\text{school}_s$$\alpha + \text{hours} \beta$

Ma trận phương sai cho ví dụ này

$\text{school}_s$$e_{s,i}$

$$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$$ $10\times 10$$A$ $$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$$