Làm thế nào các mô hình hiệu ứng hỗn hợp nên được so sánh và hoặc xác nhận?

Làm thế nào các mô hình hiệu ứng hỗn hợp (tuyến tính) thường được so sánh với nhau? Tôi biết các phép thử tỷ lệ có thể được sử dụng, nhưng điều này không hoạt động nếu một mô hình không phải là 'tập hợp con' của mô hình kia đúng?

Là ước tính của các mô hình df luôn luôn đơn giản? Số hiệu ứng cố định + số lượng thành phần phương sai ước tính? Chúng ta có bỏ qua các ước tính hiệu ứng ngẫu nhiên?

Còn xác nhận thì sao? Suy nghĩ đầu tiên của tôi là xác nhận chéo, nhưng các nếp gấp ngẫu nhiên có thể không hoạt động dựa trên cấu trúc của dữ liệu. Phương pháp 'bỏ một chủ đề / cụm ra' có phù hợp không? Điều gì về việc để lại một quan sát ra?

Mallows Cp có thể được hiểu là ước tính của lỗi dự đoán mô hình. Lựa chọn mô hình thông qua AIC cố gắng giảm thiểu lỗi dự đoán (Vì vậy, Cp và AIC nên chọn cùng một mô hình nếu các lỗi là Gaussian tôi tin). Điều này có nghĩa là AIC hoặc Cp có thể được sử dụng để chọn mô hình hiệu ứng hỗn hợp tuyến tính 'tối ưu' từ bộ sưu tập một số mô hình không lồng nhau về lỗi dự đoán? (miễn là chúng phù hợp trên cùng một dữ liệu) BIC có còn có khả năng chọn mô hình 'đúng' trong số các ứng cử viên không?

Tôi cũng có ấn tượng rằng khi so sánh các mô hình hiệu ứng hỗn hợp thông qua AIC hoặc BIC, chúng tôi chỉ tính các hiệu ứng cố định là 'tham số' trong tính toán, không phải là mô hình thực tế df.

Có tài liệu tốt về các chủ đề này? Có đáng để điều tra cICIC hoặc mAIC không? Họ có ứng dụng cụ thể ngoài AIC không?

Vấn đề chính về lựa chọn mô hình trong các mô hình hỗn hợp là xác định mức độ tự do (df) của một mô hình, thực sự. Để tính df của một mô hình hỗn hợp, người ta phải xác định số lượng tham số ước tính bao gồm các hiệu ứng cố định và ngẫu nhiên. Và điều này không đơn giản. Bài viết này của Jiming Jiang và những người khác (2008) có tên "Phương pháp hàng rào cho lựa chọn mô hình hỗn hợp" có thể được áp dụng trong các tình huống như vậy. Một tác phẩm có liên quan mới này là một bằng Greven, S. & Kneib, T. (2010) mang tên "Trên hành vi của AIC biên và điều kiện trong các mô hình hỗn hợp tuyến tính". Hy vọng điều này có thể hữu ích.

Một cách để so sánh các mô hình (cho dù hỗn hợp hay cách khác) là vẽ kết quả. Giả sử bạn havae mô hình A và mô hình B; tạo ra các giá trị được trang bị từ mỗi và vẽ đồ thị cho nhau trong một biểu đồ phân tán. Nếu các giá trị rất giống nhau (sử dụng phán đoán của bạn về việc chúng có), hãy chọn mô hình đơn giản hơn. Một ý tưởng khác là tìm sự khác biệt giữa các giá trị được trang bị và biểu đồ này so với các giá trị độc lập; bạn cũng có thể tạo ra một âm mưu mật độ của sự khác biệt. Nói chung, tôi là người đề xuất không sử dụng các thử nghiệm thống kê để so sánh các mô hình (mặc dù AIC và các biến thể của nó chắc chắn có những ưu điểm) mà là sử dụng phán đoán. Tất nhiên, điều này có lợi thế (không) là không đưa ra câu trả lời chính xác.