Độc lập của phần dư trong một thí nghiệm / mô phỏng dựa trên máy tính?

Tôi đã tiến hành đánh giá dựa trên máy tính về các phương pháp khác nhau để phù hợp với một loại mô hình cụ thể được sử dụng trong khoa học palaeo. Tôi đã có một tập huấn luyện lớn và vì vậy tôi ngẫu nhiên (lấy mẫu ngẫu nhiên phân tầng) để dành một bộ kiểm tra. Tôi đã trang bị các phương pháp khác nhau cho các mẫu tập huấn luyện và sử dụng các mô hình kết quả tôi dự đoán đáp ứng cho các mẫu của bộ thử nghiệm và tính toán RMSEP trên các mẫu trong bộ thử nghiệm. Đây là một lần chạy duy nhất .$m$$m$

Sau đó, tôi đã lặp lại quá trình này một số lượng lớn, mỗi lần tôi chọn một tập huấn luyện khác nhau bằng cách lấy mẫu ngẫu nhiên một bộ thử nghiệm mới.

Đã làm điều này tôi muốn điều tra xem liệu bất kỳ phương pháp có hiệu suất RMSEP tốt hơn hay kém hơn. Tôi cũng muốn làm nhiều so sánh về các phương pháp cặp đôi.$m$

Cách tiếp cận của tôi là phù hợp với mô hình hiệu ứng hỗn hợp tuyến tính (LME), với một hiệu ứng ngẫu nhiên duy nhất cho Run . Tôi đã sử dụng lmer()từ gói lme4 để phù hợp với mô hình và các chức năng của tôi từ gói multcomp để thực hiện nhiều so sánh. Mô hình của tôi về cơ bản là

lmer(RMSEP ~ method + (1 | Run), data = FOO)

trong đó methodmột yếu tố chỉ ra phương pháp nào đã được sử dụng để tạo dự đoán mô hình cho tập kiểm tra và Runlà chỉ báo cho mỗi lần chạy "thử nghiệm" cụ thể của tôi.

Câu hỏi của tôi liên quan đến phần còn lại của LME. Với hiệu ứng ngẫu nhiên duy nhất cho Run Tôi giả sử rằng các giá trị RMSEP cho lần chạy đó có tương quan ở một mức độ nào đó nhưng không tương quan giữa các lần chạy, trên cơ sở tương quan cảm ứng của các hiệu ứng ngẫu nhiên.

Là giả định độc lập giữa các lần chạy hợp lệ? Nếu không có cách nào để giải thích điều này trong mô hình LME hay tôi nên tìm cách sử dụng một loại phân tích thống kê khác để trả lời câu hỏi của mình?

Về cơ bản, bạn đang thực hiện một số hình thức xác thực chéo ở đây cho từng phương thức m của mình và sau đó muốn xem phương thức nào hoạt động tốt hơn. Kết quả giữa các lần chạy chắc chắn sẽ phụ thuộc, vì chúng dựa trên cùng một dữ liệu và bạn có sự chồng chéo giữa các bộ kiểm tra / xe lửa của mình. Câu hỏi là liệu điều này có quan trọng khi bạn đến để so sánh các phương pháp.

Giả sử bạn sẽ chỉ thực hiện một lần chạy và sẽ thấy rằng một phương pháp tốt hơn các phương pháp khác. Sau đó, bạn sẽ tự hỏi - điều này chỉ đơn giản là do sự lựa chọn cụ thể của bộ thử nghiệm? Đây là lý do tại sao bạn lặp lại thử nghiệm của mình cho nhiều bộ thử nghiệm / xe lửa khác nhau. Vì vậy, để xác định rằng một phương thức tốt hơn các phương thức khác, bạn chạy nhiều lần và trong mỗi lần chạy, hãy so sánh nó với các phương thức khác (bạn có các tùy chọn khác nhau để xem xét lỗi / xếp hạng / v.v.). Bây giờ, nếu bạn thấy rằng một phương thức làm tốt hơn trên hầu hết các lần chạy, kết quả là nó là gì. Tôi không chắc chắn sẽ hữu ích khi đưa ra giá trị p cho điều này. Hoặc, nếu bạn muốn đưa ra giá trị p, hãy tự hỏi mô hình nền ở đây là gì?

Có thể không thực sự hiểu những gì bạn đã làm nhưng

cho Run Tôi giả sử rằng các giá trị RMSEP cho lần chạy đó có tương quan ở một mức độ nào đó

Vâng, điều đó phản ánh mức độ thách thức của bộ thử nghiệm trong lần chạy đó

nhưng không tương quan giữa các lần chạy

Không, theo cách bạn đã lấy mẫu các bộ kiểm tra, một số bộ sẽ bị chồng chéo hơn các bộ khác (chắc chắn không phải là bản sao độc lập)

Bạn bằng cách nào đó sẽ phải mô hình hóa sự phụ thuộc dựa trên sự chồng chéo hoặc thiết kế đánh giá để các hoạt động là độc lập. Tôi sẽ đọc các tài liệu thống kê về xác nhận chéo ;-)