Chẩn đoán dư và tính đồng nhất của phương sai trong mô hình hỗn hợp tuyến tính

Trước khi đặt câu hỏi này, tôi đã tìm kiếm trang web của chúng tôi và tìm thấy rất nhiều câu hỏi tương tự, (như ở đây , ở đây và ở đây ). Nhưng tôi cảm thấy những câu hỏi liên quan không được trả lời hoặc thảo luận tốt, do đó muốn đưa ra câu hỏi này một lần nữa. Tôi cảm thấy nên có một lượng lớn khán giả muốn những câu hỏi loại này được giải thích rõ ràng hơn.

Đối với câu hỏi của tôi, trước tiên hãy xem xét mô hình hiệu ứng hỗn hợp tuyến tính, trong đó là thành phần hiệu ứng cố định tuyến tính, là ma trận thiết kế bổ sung tương ứng với các tham số hiệu ứng ngẫu nhiên , . Và là thuật ngữ lỗi thông thường. X β

$$\mathbf{y = X\boldsymbol \beta + Z \boldsymbol \gamma + \boldsymbol \epsilon}$$ $X\boldsymbol \beta$$\mathbf{Z}$ε ~ N ( 0 , σ 2 tôi$\boldsymbol \gamma$$\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$

Giả sử yếu tố ảnh hưởng cố định duy nhất là Điều trị biến phân loại , với 3 cấp độ khác nhau. Và yếu tố hiệu ứng ngẫu nhiên duy nhất là Chủ đề biến . Điều đó nói rằng, chúng tôi có một mô hình hiệu ứng hỗn hợp với hiệu ứng điều trị cố định và hiệu ứng chủ thể ngẫu nhiên.

Câu hỏi của tôi là:

1. Có sự đồng nhất của giả định phương sai trong thiết lập mô hình hỗn hợp tuyến tính, tương tự như mô hình hồi quy tuyến tính truyền thống không? Nếu vậy, giả định cụ thể có ý nghĩa gì trong bối cảnh của vấn đề mô hình hỗn hợp tuyến tính đã nêu ở trên? Các giả định quan trọng khác cần được đánh giá là gì?

Suy nghĩ của tôi: CÓ. các giả định (ý tôi là, không có nghĩa là sai số và phương sai bằng nhau) vẫn còn từ đây: . Trong cài đặt mô hình hồi quy tuyến tính truyền thống, chúng ta có thể nói rằng giả định là "phương sai của các lỗi (hoặc chỉ là phương sai của biến phụ thuộc) là không đổi trong cả 3 cấp độ xử lý". Nhưng tôi không biết làm thế nào chúng ta có thể giải thích giả định này trong cài đặt mô hình hỗn hợp. Chúng ta có nên nói "phương sai không đổi trong 3 cấp độ điều trị, điều hòa theo đối tượng? Hay không?"$\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$

2. Tài liệu trực tuyến của SAS về phần dư và chẩn đoán ảnh hưởng đã đưa ra hai phần dư khác nhau, tức là phần dư biên , và phần dư có điều kiện , Câu hỏi của tôi là, hai phần dư được sử dụng để làm gì? Làm thế nào chúng ta có thể sử dụng chúng để kiểm tra giả định đồng nhất? Đối với tôi, chỉ phần dư biên có thể được sử dụng để giải quyết vấn đề đồng nhất, vì nó tương ứng với của mô hình. Sự hiểu biết của tôi ở đây có đúng không? r c = Y - X β - Z γ = r m - Z γ .

   $$\mathbf{r_m = Y - X \hat{\boldsymbol \beta}}$$ $$\mathbf{r_c = Y - X \hat{\boldsymbol \beta} - Z \hat{\boldsymbol \gamma} = r_m - Z \hat{\boldsymbol \gamma}} .$$ $\boldsymbol \epsilon$

3. Có thử nghiệm nào được đề xuất để kiểm tra giả định đồng nhất theo mô hình hỗn hợp tuyến tính không? @Kam đã chỉ ra thử nghiệm của levene trước đây, đây có phải là cách đúng đắn? Nếu không, các hướng là gì? Tôi nghĩ rằng sau khi chúng tôi phù hợp với mô hình hỗn hợp, chúng tôi có thể nhận được số dư và có thể thực hiện một số thử nghiệm (như kiểm tra mức độ phù hợp?), Nhưng không chắc nó sẽ như thế nào.

4. Tôi cũng nhận thấy rằng có ba loại dư từ Proc Hỗn hợp trong SAS, đó là phần dư Nguyên , phần dư Sinh viên và phần dư Pearson . Tôi có thể hiểu sự khác biệt giữa chúng về công thức. Nhưng với tôi chúng dường như rất giống nhau khi nói về các lô dữ liệu thực. Vậy chúng nên được sử dụng như thế nào trong thực tế? Có những tình huống mà một loại được ưa thích hơn những loại khác?

5. Đối với một ví dụ dữ liệu thực, hai lô còn lại sau đây là từ Proc Hỗn hợp trong SAS. Làm thế nào giả định về tính đồng nhất của phương sai có thể được giải quyết bởi chúng?

[Tôi biết tôi có một vài câu hỏi ở đây. Nếu bạn có thể cung cấp cho tôi bất kỳ suy nghĩ của bạn cho bất kỳ câu hỏi, đó là tuyệt vời. Không cần phải giải quyết tất cả chúng nếu bạn không thể. Tôi thực sự muốn thảo luận về họ để có được sự hiểu biết đầy đủ. Cảm ơn!]

Dưới đây là các lô dư (thô).

Dưới đây là các lô dư có điều kiện (thô).

Tôi nghĩ rằng Câu hỏi 1 và 2 được liên kết với nhau. Đầu tiên, tính đồng nhất của giả định phương sai xuất phát từ đây, . Nhưng giả định này có thể được nới lỏng cho các cấu trúc phương sai tổng quát hơn, trong đó giả định đồng nhất là không cần thiết. Điều đó có nghĩa là nó thực sự phụ thuộc vào cách phân phối của .$\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$$\boldsymbol \epsilon$

Thứ hai, phần dư có điều kiện được sử dụng để kiểm tra phân phối (do đó, bất kỳ giả định nào liên quan đến) , trong khi phần dư biên có thể được sử dụng để kiểm tra cấu trúc phương sai tổng.$\boldsymbol \epsilon$

Đây là một chủ đề thực sự rộng và tôi sẽ chỉ cung cấp một bức tranh chung về kết nối với hồi quy tuyến tính tiêu chuẩn.

Trong mô hình được liệt kê trong câu hỏi, nếu , trong đó biểu thị một chủ đề hoặc cụm. Đặt . Sử dụng phân tách Cholesky , chúng ta có thể biến đổi kết quả và ma trận thiết kế,

$$\mathbf{y_i \sim N(X_i\boldsymbol \beta, Z_i \boldsymbol D Z'_i + \boldsymbol \sigma^2 I)},$$ $\boldsymbol \gamma_i \sim N(\mathbf{0, D})$$i$$\mathbf{\Sigma_i=Z_i \boldsymbol D Z'_i + \boldsymbol \sigma^2 I}$$\mathbf{\Sigma_i=L_i L'_i}$ $$\mathbf{y^*_i=L_i^{-1}y_i; X^*_i=L_i^{-1}X_i}.$$

Như đã lưu ý trong Phân tích theo chiều dọc được áp dụng (Trang 271), ước tính bình phương tối thiểu (GLS) tổng quát của (hồi quy trên ) có thể được ước tính lại từ hồi quy OLS của trên . Vì vậy, tất cả các chẩn đoán còn lại tích hợp từ OLS kết quả có thể được sử dụng ở đây .y i X i y ∗ i X ∗ $\boldsymbol \beta$$\mathbf y_i$$\mathbf X_i$$\mathbf y^*_i$$\mathbf X^*_i$

Những gì chúng ta cần làm là:

1. ước tính từ ước tính thành phần dư hoặc biên (biên) trong mô hình hỗn hợp tuyến tính;$\boldsymbol \Sigma_i$
2. điều chỉnh lại một hồi quy OLS bằng cách sử dụng dữ liệu được chuyển đổi.

Hồi quy OLS giả định các quan sát độc lập với phương sai đồng nhất, vì vậy các kỹ thuật chẩn đoán chuẩn có thể được áp dụng cho các phần dư của nó.

Nhiều chi tiết hơn có thể được tìm thấy trong Chương 10 "Phân tích và chẩn đoán dư" của cuốn sách Phân tích theo chiều dọc được áp dụng . Họ cũng thảo luận về việc chuyển đổi phần dư với và có một số phần dư (được chuyển đổi) (so với giá trị dự đoán hoặc dự đoán). Nhiều bài đọc hơn được liệt kê trong 10.8 "Bài đọc thêm" và ghi chú thư mục trong đó.$\mathbf L_i$

Hơn nữa, theo tôi, giả sử độc lập với phương sai đồng nhất, chúng ta có thể kiểm tra các giả định này trên phần dư có điều kiện bằng cách sử dụng các công cụ từ hồi quy chuẩn.$\boldsymbol \epsilon$