Bối cảnh: Lưu ý: Tập dữ liệu và mã r của tôi được bao gồm bên dưới văn bản

Tôi muốn sử dụng AIC để so sánh hai mô hình hiệu ứng hỗn hợp được tạo bằng gói lme4 trong R. Mỗi mô hình có một hiệu ứng cố định và một hiệu ứng ngẫu nhiên. Hiệu ứng cố định khác nhau giữa các mô hình, nhưng hiệu ứng ngẫu nhiên vẫn giống nhau giữa các mô hình. Tôi đã thấy rằng nếu tôi sử dụng REML = T, model2 có điểm AIC thấp hơn, nhưng nếu tôi sử dụng REML = F, model1 có điểm AIC thấp hơn.

Hỗ trợ sử dụng ML:

Zuur et al. (2009; TRANG 122) đề xuất rằng "Để so sánh các mô hình với các hiệu ứng cố định lồng nhau (nhưng có cùng cấu trúc ngẫu nhiên), phải sử dụng ước tính ML và không phải là REML." Điều này cho tôi thấy rằng tôi nên sử dụng ML vì các hiệu ứng ngẫu nhiên của tôi giống nhau trong cả hai mô hình, nhưng các hiệu ứng cố định của tôi khác nhau. [Zuur et al. 2009. Các mô hình hiệu ứng hỗn hợp và mở rộng trong sinh thái học với R. Springer.]

Hỗ trợ sử dụng REML:

Tuy nhiên, tôi nhận thấy rằng khi tôi sử dụng ML, phương sai còn lại liên quan đến các hiệu ứng ngẫu nhiên khác nhau giữa hai mô hình (model1 = 136.3; model2 = 112.9), nhưng khi tôi sử dụng REML, nó giống nhau giữa các mô hình (model1 = model2 = 151,5). Điều này ngụ ý với tôi rằng thay vào đó tôi nên sử dụng REML để phương sai dư ngẫu nhiên vẫn giữ nguyên giữa các mô hình với cùng một biến ngẫu nhiên.

Câu hỏi:

Không có ý nghĩa hơn khi sử dụng REML so với ML để so sánh các mô hình trong đó các hiệu ứng cố định thay đổi và các hiệu ứng ngẫu nhiên vẫn giữ nguyên? Nếu không, bạn có thể giải thích tại sao hoặc chỉ cho tôi các tài liệu khác giải thích thêm?

# Model2 "wins" if REML=T:
REMLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = T)
REMLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = T)
AIC(REMLmodel1,REMLmodel2)
summary(REMLmodel1)
summary(REMLmodel2)

# Model1 "wins" if REML=F:
MLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = F)
MLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = F)
AIC(MLmodel1,MLmodel2)
summary(MLmodel1)
summary(MLmodel2)

Bộ dữ liệu:

Response    Fixed1  Fixed2  Random1
5.20    A   A   1
32.50   A   A   1
6.57    A   A   2
24.77   A   B   3
41.69   A   B   3
34.29   A   B   4
1.80    A   B   4
10.00   A   B   5
15.56   A   B   5
4.44    A   C   6
21.65   A   C   6
9.20    A   C   7
4.11    A   C   7
12.52   B   D   8
0.25    B   D   8
27.34   B   D   9
11.54   B   E   10
0.86    B   E   10
0.68    B   E   11
4.00    B   E   11

Zuur và cộng sự, và Faraway (từ nhận xét của @ janhove ở trên) là đúng; sử dụng các phương pháp dựa trên khả năng (bao gồm AIC) để so sánh hai mô hình với các hiệu ứng cố định khác nhau được gắn bởi REML thường sẽ dẫn đến vô nghĩa.

Tôi sẽ đưa ra một ví dụ để minh họa tại sao khả năng REML không thể được sử dụng cho những thứ như so sánh AIC. Hãy tưởng tượng rằng chúng ta một mô hình hiệu ứng hỗn hợp bình thường. Gọi là ma trận thiết kế và giả sử rằng ma trận này có thứ hạng đầy đủ. Chúng ta có thể tìm thấy sự lặp lại của không gian giá trị trung bình, được đưa ra bởi ma trận . Hai ma trận trải dài trên cùng một không gian con tuyến tính của . Như vậy, các cột của có thể được viết như kết hợp tuyến tính của các cột của . Do đó, chúng ta có thể tìm thấy một ma trận bậc hai, , sao cho$X$$\tilde{X}$$\mathbb{R}^n$$\tilde{X}$$X$$B$

$\tilde{X} = XB$ .

Hơn nữa, có thứ hạng đầy đủ (điều này có thể được chứng minh bằng cách giả sử rằng nó không có, sau đó cũng không phải là một mâu thuẫn). Điều này có nghĩa là không thể đảo ngược.$B$$X$$B$

Nếu chúng ta bắt đầu sử dụng tham số thứ hai của không gian giá trị trung bình và để là ma trận hiệp phương sai thì hãy xem xét tiêu chí REML mà chúng ta nên tối đa hóa (tôi bỏ qua một hằng số)$V$

$|V|^{-1/2}|\tilde{X}'V^{-1}\tilde{X}|^{-1/2}\exp((y-\tilde{X}\tilde{\beta})'V^{-1}(y-\tilde{X}\tilde{\beta})/2)$ ,

trên tập tham số, trong đó . Sử dụng thực tế là , chúng ta có thể nhận ra rằng điều này có thể được viết lại thành$\beta = (\tilde{X}V^{-1}\tilde{X})^{-1}y$$X = \tilde{X}B$

$|B||V|^{-1/2}||X'V^{-1}X|^{-1/2}|\exp((y-X\bar{\beta})'V^{-1}(y-X\bar{\beta})/2)$ ,

trong đó . Đây là khả năng REML cho các tham số khác lần xác định của.| B$\bar{\beta} = (XV^{-1}X)^{-1}y$$|B|$

Do đó, chúng tôi có một ví dụ về hai tham số khác nhau của cùng một mô hình, đưa ra các giá trị khả năng khác nhau, giả sử rằng (một ma trận như vậy có thể dễ dàng được tìm thấy). Giá trị tham số giống nhau sẽ tối đa hóa tiêu chí trong cả hai trường hợp nhưng giá trị của khả năng sẽ khác nhau. Điều này cho thấy có một yếu tố tùy ý trong giá trị khả năng và do đó minh họa tại sao người ta không thể sử dụng giá trị của khả năng so sánh giữa các mô hình với các hiệu ứng cố định khác nhau: bạn có thể thay đổi kết quả chỉ đơn giản là thay đổi tham số không gian giá trị trung bình trong một trong những mô hình$|B| \neq 1$

Đây là một ví dụ về lý do tại sao không nên sử dụng REML khi so sánh các mô hình với các hiệu ứng cố định khác nhau. Tuy nhiên, REML thường ước tính các tham số hiệu ứng ngẫu nhiên tốt hơn và do đó đôi khi nên sử dụng ML để so sánh và REML để ước tính một mô hình (có lẽ là cuối cùng).