Suy luận không hợp lệ khi các quan sát không độc lập

Tôi đã học được trong các số liệu thống kê cơ bản rằng, với một mô hình tuyến tính tổng quát, để các suy luận có giá trị, các quan sát phải độc lập. Khi phân cụm xảy ra, tính độc lập có thể không còn dẫn đến suy luận không hợp lệ trừ khi điều này được tính đến. Một cách để giải thích cho việc phân cụm như vậy là sử dụng các mô hình hỗn hợp. Tôi muốn tìm một tập dữ liệu mẫu, mô phỏng hay không, điều này thể hiện rõ điều này. Tôi đã thử sử dụng một trong các bộ dữ liệu mẫu trên trang web UCLA để phân tích dữ liệu phân cụm

> require(foreign)
> require(lme4)
> dt <- read.dta("http://www.ats.ucla.edu/stat/stata/seminars/svy_stata_intro/srs.dta")

> m1 <- lm(api00~growth+emer+yr_rnd, data=dt)
> summary(m1)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 740.3981    11.5522  64.092   <2e-16 ***
growth       -0.1027     0.2112  -0.486   0.6271    
emer         -5.4449     0.5395 -10.092   <2e-16 ***
yr_rnd      -51.0757    19.9136  -2.565   0.0108 * 


> m2 <- lmer(api00~growth+emer+yr_rnd+(1|dnum), data=dt)
> summary(m2)

Fixed effects:
             Estimate Std. Error t value
(Intercept) 748.21841   12.00168   62.34
growth       -0.09791    0.20285   -0.48
emer         -5.64135    0.56470   -9.99
yr_rnd      -39.62702   18.53256   -2.14

Trừ khi tôi thiếu một cái gì đó, những kết quả này tương tự nhau đến mức tôi không nghĩ đầu ra từ đó lm()là không hợp lệ. Tôi đã xem xét một số ví dụ khác (ví dụ 5.2 từ Trung tâm Mô hình đa cấp của Đại học Bristol ) và thấy các lỗi tiêu chuẩn cũng không quá khác biệt (tôi không quan tâm đến các hiệu ứng ngẫu nhiên từ mô hình hỗn hợp, nhưng đáng chú ý là ICC từ đầu ra mô hình hỗn hợp là 0,42).

Vì vậy, câu hỏi của tôi là 1) trong những điều kiện nào các lỗi tiêu chuẩn sẽ khác nhau rõ rệt khi phân cụm xảy ra và 2) ai đó có thể cung cấp một ví dụ về bộ dữ liệu đó (mô phỏng hay không).

Trước hết, bạn đúng bộ dữ liệu này có thể không phải là tốt nhất để hiểu mô hình hỗn hợp. Nhưng trước tiên hãy xem tại sao

require(foreign)
dt <- read.dta("http://www.ats.ucla.edu/stat/stata/seminars/svy_stata_intro/srs.dta")

length(dt$dnum)          # 310
length(unique(dt$dnum))  # 187 
sum(table(dt$dnum)==1)   # 132

Bạn thấy rằng bạn có 310 quan sát và 187 nhóm, trong đó 132 chỉ có một quan sát. Điều này không có nghĩa là chúng ta không nên sử dụng mô hình đa cấp, mà chỉ là chúng ta sẽ không nhận được nhiều kết quả khác nhau như bạn đã nêu.

Động lực mô hình đa cấp

Động lực để sử dụng mô hình đa cấp bắt đầu từ chính thiết kế, và không chỉ từ kết quả phân tích được thực hiện. Tất nhiên, ví dụ phổ biến nhất là lấy nhiều quan sát từ các cá nhân, nhưng để khiến mọi thứ trở nên cực đoan hơn để đưa ra một tình huống dễ hiểu hơn, hãy nghĩ đến việc hỏi các cá nhân từ các quốc gia khác nhau trên thế giới về thu nhập của họ. Vì vậy, ví dụ tốt nhất là những ví dụ có nhiều sự không đồng nhất, vì việc lấy các cụm đồng nhất trong kết quả kiểm tra tất nhiên sẽ không có nhiều khác biệt.

Thí dụ

$10$$100$yx$0.5$

set.seed(1)
I <- 100
J <- 10
n <- I*J
i <- rep(1:I, each=J)
j <- rep(1:J,I)
x <- rnorm(n,mean=0, sd=1)
beta0  <- 1000
beta1  <- 0.5
sigma2 <- 1
tau2   <- 200
u <- rep(rnorm(I,mean=0,sd=sqrt(tau2)),each=J)
y <- beta0 + beta1*x + u + rnorm(n,mean=0, sd=sqrt(sigma2))

Vì vậy, chạy một mô hình tuyến tính, bạn nhận được

> summary(lm(y~x))

Coefficients:
            Estimate Std. Error  t value Pr(>|t|)    
(Intercept) 999.8255     0.4609 2169.230   <2e-16 ***
x             0.5728     0.4456    1.286    0.199    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 14.57 on 998 degrees of freedom
Multiple R-squared:  0.001653,  Adjusted R-squared:  0.0006528 
F-statistic: 1.653 on 1 and 998 DF,  p-value: 0.1989

và bạn kết luận rằng xkhông có tác dụng thống kê trong y. Xem lớn như thế nào là lỗi tiêu chuẩn. Nhưng chạy một mô hình đánh chặn ngẫu nhiên

> summary(lmer(y~x + (1|i)))

Random effects:
 Groups   Name        Variance Std.Dev.
 i        (Intercept) 213.062  14.597  
 Residual               1.066   1.032  
Number of obs: 1000, groups:  i, 100

Fixed effects:
            Estimate Std. Error t value
(Intercept) 999.8247     1.4600   684.8
x             0.4997     0.0327    15.3

bạn thấy lỗi tiêu chuẩn của ước tính đã thay đổi bao nhiêu. Nhìn vào phần hiệu ứng ngẫu nhiên, chúng ta thấy mức độ biến động đã bị phân hủy - hầu hết sự thay đổi về thu nhập là giữa các quốc gia và trong các quốc gia, người dân có thu nhập tương tự nhiều hơn. Nói một cách đơn giản, điều xảy ra ở đây là không tính đến việc phân cụm ảnh hưởng của xviệc "bị lạc" (nếu chúng ta có thể sử dụng loại thuật ngữ này), nhưng phân tách sự biến đổi mà bạn tìm thấy những gì bạn thực sự sẽ nhận được.