Trong thực tế, ma trận hiệp phương sai hiệu ứng ngẫu nhiên được tính toán như thế nào trong một mô hình hiệu ứng hỗn hợp?

Về cơ bản điều tôi đang tự hỏi là các cấu trúc hiệp phương sai khác nhau được thi hành như thế nào và cách tính các giá trị bên trong các ma trận này. Các hàm như lme () cho phép chúng ta chọn cấu trúc nào chúng ta muốn, nhưng tôi muốn biết cách ước tính chúng.

Hãy xem xét mô hình hiệu ứng hỗn hợp tuyến tính .$Y=X\beta+Zu+\epsilon$

Trong đó $u \stackrel{d}{\sim} N(0,D)$ và $\epsilon \stackrel{d}{\sim} N(0,R)$ . Hơn nữa:

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

Để đơn giản, chúng tôi sẽ giả sử $R=\sigma^2I_n$ .

Về cơ bản câu hỏi của tôi là: $D$ ước tính chính xác từ dữ liệu cho các tham số khác nhau như thế nào? Nói nếu chúng ta giả sử $D$ là đường chéo (hiệu ứng ngẫu nhiên là độc lập) hoặc $D$ được tham số hóa đầy đủ (trường hợp tôi quan tâm hơn vào lúc này) hoặc bất kỳ tham số nào khác? Có ước tính / phương trình đơn giản cho những? (Điều đó chắc chắn sẽ được ước tính lặp đi lặp lại.)

EDIT: Từ cuốn sách Thành phần phương sai (Searle, Casella, McCulloch 2006) Tôi đã xoay sở để phát sáng như sau:

Nếu $D=\sigma^2_uI_q$ thì các thành phần phương sai được cập nhật và tính toán như sau:

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

Trong đó $\hat{\beta}^{(k)}$ và $\hat{{u}}^{(k)}$ là các bản cập nhật thứ $k$ tương ứng.

Có công thức chung khi $D$ là đường chéo khối hoặc tham số đầy đủ không? Tôi đoán trong trường hợp được tham số hóa đầy đủ, một phép phân tách Cholesky được sử dụng để đảm bảo tính chính xác và tính đối xứng dương.

Goldstein .pdf @probabilityislogic được liên kết là một tài liệu tuyệt vời. Dưới đây là danh sách một số tài liệu tham khảo thảo luận về câu hỏi cụ thể của bạn:

Harville, 1976: Mở rộng Định lý Gauss-Markov để bao gồm ước tính hiệu ứng ngẫu nhiên .

Harville, 1977: Khả năng tối đa tiếp cận với ước tính thành phần phương sai và các vấn đề liên quan .

Laird và Ware, 1982: Các mô hình hiệu ứng ngẫu nhiên cho dữ liệu theo chiều dọc .

McCulloch, 1997: Các thuật toán khả năng tối đa cho các mô hình hỗn hợp tuyến tính tổng quát .

Các Hướng dẫn SAS tài khoản trích cho các thủ tục TRỘN có một số thông tin tuyệt vời về ước lượng hiệp phương sai và nhiều nguồn hơn (bắt đầu từ trang 3968).

Có rất nhiều sách giáo khoa chất lượng về phân tích dữ liệu theo chiều dọc / lặp đi lặp lại, nhưng đây là một cuốn sách đi sâu vào chi tiết về việc thực hiện trong R (từ các tác giả của lme4và nlme):

Pinheiro và Bates, 2000: Các mô hình hiệu ứng hỗn hợp trong S và S-PLUS .

EDIT : Thêm một bài báo liên quan: Lindstrom và Bates, 1988: Thuật toán Newton-Raphson và EM cho các mô hình hiệu ứng hỗn hợp tuyến tính cho dữ liệu đo lặp lại .

EDIT 2 : Và một cái khác: Jennrich và Schluchter, 1986: Các mô hình đo lường lặp lại không cân bằng với ma trận hiệp phương sai có cấu trúc .

Harvey Goldstein không phải là một nơi tồi tệ để bắt đầu.

Như với hầu hết các phương pháp ước tính phức tạp, nó thay đổi theo gói phần mềm. Tuy nhiên, thường thì những gì được thực hiện là trong các bước sau:

1. Chọn một giá trị ban đầu cho (nói D 0 ) và R (nói R 0 ). Đặt i = $D$$D_0$$R$$R_0$$i=1$
2. Có điều kiện trên và R = R i - 1 , ước tính β và u và ε . Gọi các ước tính β i và u i và ϵ i .$D=D_{i-1}$$R=R_{i-1}$$\beta$$u$$\epsilon$$\beta_i$$u_i$$\epsilon_i$
3. Có điều kiện về và u = u i và ε = ε i , ước tính D và R . Gọi các ước tính D i và R $\beta=\beta_i$$u=u_i$$\epsilon=\epsilon_i$$D$$R$$D_i$$R_i$
4. $i=i+1$

Một phương pháp đơn giản và nhanh chóng là IGLS, dựa trên việc lặp lại giữa hai thủ tục bình phương nhỏ nhất và được mô tả chi tiết trong chương hai. Nhược điểm là nó không hoạt động tốt đối với các thành phần phương sai gần bằng không.

Bài viết sau đây đưa ra giải pháp dạng đóng cho D:

• J. Shao, Mari Palta & Roger Qu, (1998), " Ước lượng bình phương nhỏ nhất của các tham số hồi quy trong các mô hình hiệu ứng hỗn hợp với các hiệp phương sai không được đo lường ", Truyền thông trong Thống kê - Lý thuyết và Phương pháp , 27: 6, 1487-1501, DOI: 10.1080 / 03610929808832172

thêm hai tài liệu tham khảo có thể là các thành phần phương sai hữu ích của Searle Et al và Lynch và Walsh Di truyền học và Phân tích các đặc điểm định lượng . Cuốn sách Lynch và Walsh đưa ra thuật toán từng bước nếu tôi nhớ đúng