Làm thế nào để xác định các ngoại lệ và chẩn đoán mô hình cho mô hình lme4?

Tôi cần xác định các ngoại lệ và các điểm đòn bẩy cao và thực hiện chẩn đoán mô hình, trong một lme4mô hình. Đối với các ngoại lệ và các điểm đòn bẩy cao, chỉ cần tạo một âm mưu để kiểm tra trực quan sẽ tốt, nhưng không đủ. Tôi có 10.800 điểm dữ liệu và cần đánh dấu từng điểm thông qua một số bài kiểm tra phân tích hoặc tính toán là ngoại lệ / đòn bẩy cao hoặc không ngoại lệ / đòn bẩy cao. Sau khi xác định các điểm ngoại lệ / điểm đòn bẩy cao, tôi sẽ trải qua một quy trình riêng để quyết định có loại trừ các điểm khỏi bộ dữ liệu hay không.

Loại trừ các điểm sẽ xem xét phân tích chi tiết trước về nguồn dữ liệu thô của từng quan sát (bản ghi âm), ngoài việc nhận dạng tự động được đề cập ở trên. Ở đây, tôi gọi quá trình này là "xóa có chọn lọc".

Tôi cũng cần phải hiểu liệu các ngoại lệ của tôi nên dựa trên phần dư "cận biên" hay "có điều kiện" và liệu đòn bẩy của tôi nên dựa trên các hiệu ứng cố định hay cố định cộng với các hiệu ứng ngẫu nhiên. Đối với các khuyết điểm của "cận biên" và "có điều kiện", cũng như các khiếm khuyết tiềm năng của đòn bẩy, tôi đang theo dõi Chẩn đoán và Điều trị cho Mô hình hỗn hợp tuyến tính , Singer et al, 2013 .

Tức là, với một mô hình hỗn hợp của hình thức ...

$$y= X\beta + Zb + e$$ $$e \thicksim N(0,\sigma^2I)$$ $$b \thicksim N(0,G)$$ Trong đó là ma trận xác định dương, đối xứng. Theo lề , tôi có nghĩa là phần dư có dạng: \ zeta = yE [y] = y - X \ beta Theo điều kiện , tôi có nghĩa là phần dư có dạng: e = y - X \ beta - Zb Câu hỏi của tôi là: $G$ $$\zeta = y-E[y]=y - X\beta$$ $$e = y - X\beta - Zb$$

1. Cách xác định các ngoại lệ thông qua quy trình tự động dựa trên lme4mô hình.
2. Cho dù dư lượng có điều kiện hoặc có điều kiện nên được sử dụng để xác định các ứng cử viên để xóa có chọn lọc.
3. Những loại dư nào nên được sử dụng để đánh giá tính chuẩn tắc, tuyến tính, homoscedasticity, v.v.
4. Cách xác định các điểm đòn bẩy cao cho mục đích xóa có chọn lọc và sử dụng đòn bẩy từ cố định hay tất cả các hiệu ứng (xem Singer et al , ở trên).
5. Làm thế nào để kiểm tra được phân phối là$b$$N(0,G)$ , nghĩa là đa biến thông thường? Điều này được thực hiện đơn giản bằng cách xem các lô QQ của các hiệu ứng ngẫu nhiên? Điều gì xảy ra nếu có hiệp phương sai, nghĩa là các số hạng ngoài đường chéo khác không? Việc nhìn vào các ô QQ 1 chiều cho mỗi hiệu ứng ngẫu nhiên vẫn đủ để đánh giá loại quy tắc này? Hoặc là một số loại chuyển đổi cần thiết? $G$

(Điều này bắt đầu như một bình luận nhưng dường như đang trở nên quá dài.)

Câu hỏi này có thể ít được chú ý hơn so với câu hỏi khác vì nó rất rộng (trong số những điều khác, bạn đã hỏi 5 câu hỏi riêng biệt ở đây). Một vài câu trả lời:

• Phần dư có điều kiện và cận biên chỉ có nghĩa là những thứ khác nhau, tôi không chắc có "câu trả lời đúng" ở đây - bạn sẽ chỉ hỏi về các loại ngoại lệ / đòn bẩy khác nhau. Nói chung, dường như phần dư có điều kiện (nghĩa là re.form=NULLmặc định, trong lme4) sẽ có ý nghĩa hơn.
• Lưu ý rằng nhiều biện pháp ảnh hưởng bạn nhận được (ví dụ: hatvalues.merMod()xem bên dưới) sẽ có điều kiện dựa trên ma trận phương sai ước lượng của các hiệu ứng ngẫu nhiên ; điều này khác với câu hỏi liệu bạn có điều chỉnh các chế độ / BLUP có điều kiện hay không. Nếu bạn không muốn dựa trên các ước tính này, bạn sẽ phải (1) giả định Tính đa biến của các ước tính của các tham số hiệp phương sai (ugh) hoặc (2) thực hiện một số loại khởi động tham số (double-ugh) .
• Nhiều biện pháp ảnh hưởng tiêu chuẩn khó khăn hơn đối với (G) LMM nếu chúng liên quan đến việc đảo ngược các ma trận lớn - điều đó không phải lúc nào cũng thực tế. Các influence.MEgói làm rất nhiều công việc của mình bằng một phương pháp có hiệu lực bán vũ phu:

  hàm ảnh hưởng () lặp đi lặp lại sửa đổi mô hình hiệu ứng hỗn hợp để vô hiệu hóa hiệu ứng mà một tập hợp dữ liệu được nhóm lại trên các tham số và trả về [sic] các tham số cố định của các mô hình được sửa đổi lặp này.

Cũng lưu ý sự khác biệt giữa các quan sát có ảnh hưởng và các nhóm có ảnh hưởng , một trong số đó có thể được quan tâm.

• Các lme4gói không cung cấp một ma trận mũ (hoặc đường chéo của nó) thông qua ?hatvalues.merMod, vì vậy bạn có thể sử dụng chúng để tính toán một số biện pháp tác động tiêu chuẩn.
• Theo như các âm mưu QQ cận biên cho các chế độ BLUP / chế độ có điều kiện: nếu các BLUP / chế độ có điều kiện là đa biến Bình thường, thì các phân phối đơn biến cũng sẽ như vậy. Nắm giữ chi tiết (nếu phân phối đơn biến là xấu, thì phân phối đa biến là xấu), nhưng không nhất thiết là ngược lại (nếu phân phối đơn biến có vẻ tốt, phân phối đa biến vẫn có thể xấu), nhưng IMO bạn phải làm việc tốt khó để xây dựng một ví dụ như vậy.
• Có các thử nghiệm chính thức cho việc sai chính tả các hiệu ứng ngẫu nhiên, ví dụ Abad et al. Thống kê sinh học 2010 (xem trích dẫn đầy đủ bên dưới). Không biết nơi nó đã được thực hiện.
• Cuối cùng, có vẻ như rất nhiều điều bạn muốn đã được thảo luận trong tài liệu hội nghị mà bạn đã liên kết (tham khảo bên dưới). Tại sao không chỉ vẽ các ô họ đề xuất và chọn một điểm cắt (ví dụ:$\pm 1.96 \sigma$) để xác định các ngoại lệ từ họ?

Abad, Ariel Alonso, Saskia Litière và Geert Molenberghs. Thử nghiệm cho Misspecification trong các mô hình hỗn hợp tuyến tính tổng quát. Thống kê sinh học 11, không. 4 (ngày 1 tháng 10 năm 2010): 771 bóng86. doi: 10.1093 / thống kê sinh học / kxq019.

Julio M. Ca sĩ, Juvencio S. Nobre và Francisco MM Rocha. Chẩn đoán và điều trị cho các mô hình hỗn hợp tuyến tính, 5486. Hồng Kông, 2013. http://2013.isiproceedings.org/Files/CPS203-P28-S.pdf .