Xác nhận chéo cho các mô hình hỗn hợp?


9

Đồng nghiệp của tôi và tôi đang điều chỉnh một loạt các mô hình hiệu ứng hỗn hợp tuyến tính và phi tuyến trong R. Chúng tôi được yêu cầu thực hiện xác nhận chéo trên các mô hình được trang bị để người ta có thể xác minh rằng các hiệu ứng quan sát được là tương đối tổng quát. Đây thường là một nhiệm vụ tầm thường, nhưng trong trường hợp của chúng tôi, chúng tôi phải chia toàn bộ dữ liệu thành một phần đào tạo và một phần kiểm tra (cho mục đích CV) không chia sẻ mức chung. Ví dụ,

Dữ liệu đào tạo có thể dựa trên các nhóm 1,2,3,4; Các mô hình được trang bị sau đó được xác nhận chéo trên Nhóm 5.

Vì vậy, điều này tạo ra một vấn đề do các hiệu ứng ngẫu nhiên dựa trên nhóm ước tính trên dữ liệu đào tạo không áp dụng cho dữ liệu thử nghiệm. Vì vậy, chúng tôi không thể CV mô hình.

Có một giải pháp tương đối đơn giản cho việc này? Hoặc có ai đã viết một gói để giải quyết vấn đề này chưa? Bất kỳ gợi ý đều được chào đón!

Cảm ơn!


2
Trong ước tính diện tích nhỏ, bạn có cùng một vấn đề với các khu vực nhỏ "ngoài mẫu". Điều thường được thực hiện là bạn ước tính các hiệu ứng ngẫu nhiên ngoài mẫu bằng 0 (giá trị rất có thể của chúng - giả sử các hiệu ứng ngẫu nhiên của bạn được phân phối bình thường). Thực tế, bạn đang sử dụng phần "tổng hợp" hoặc phần cố định của mô hình chỉ để dự đoán.
xác suất

xác suất / Ting Qian, hiện tại tôi đang vật lộn với vấn đề này và muốn xem cách bạn chỉ định các hiệu ứng ngoài mẫu là 0. Có thể chỉnh sửa câu trả lời của bạn ở đây & hiển thị mã R không? cảm ơn!
Pradeep Babu

Câu trả lời:


3

Fang (2011) đã chứng minh sự tương đương tiệm cận giữa AIC được áp dụng cho các mô hình hỗn hợp và xác thực chéo một cụm. Có thể điều này sẽ làm hài lòng người đánh giá của bạn, cho phép bạn chỉ cần tính toán AIC như một phép tính gần đúng dễ dàng hơn để tính toán những gì họ yêu cầu?


Cảm ơn! Điều này có vẻ hữu ích. Chúng tôi thực sự đã tính toán BIC, nhưng người đánh giá muốn xem kết quả xác thực chéo. ;-) Một số bộ dữ liệu chúng tôi có tương đối nhỏ. Vì vậy, người ta có thể đưa ra lập luận rằng hành vi tiệm cận như vậy không được mong đợi. Nhưng, vâng, chúng tôi chắc chắn có thể trích dẫn Fang (2011) khi chúng tôi trình bày kết quả BIC, vì AIC và BIC cũng tương đương nhau không có triệu chứng?
Ting Qian

2
Tôi không tin rằng AIC và BIC tương đương nhau về mặt triệu chứng khi họ cố gắng trả lời các câu hỏi khác nhau cơ bản. Xem: stats.stackexchange.com/questions/577/ Mạnh
Mike Lawrence

Và đây là một so sánh chi tiết hơn về AIC & BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065
Mike Lawrence

0

Colby và Bair (2013) đã phát triển một phương pháp xác nhận chéo có thể được áp dụng cho các mô hình hiệu ứng hỗn hợp phi tuyến. Bạn có thể truy cập liên kết này để tìm hiểu thêm.


1
Chào mừng đến với Crossvalidated. Vui lòng thêm thông tin vào câu trả lời của bạn. Có lẽ bạn có thể phác thảo những phần quan trọng nhất của bài viết.
Ferdi
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.