Đào tạo, kiểm tra, xác nhận trong một vấn đề phân tích sinh tồn

Tôi đã duyệt các chủ đề khác nhau ở đây, nhưng tôi không nghĩ câu hỏi chính xác của mình đã được trả lời.

Tôi có bộ dữ liệu ~ 50.000 sinh viên và thời gian bỏ học. Tôi sẽ thực hiện hồi quy mối nguy theo tỷ lệ với một số lượng lớn các đồng biến tiềm năng. Tôi cũng sẽ thực hiện hồi quy logistic khi bỏ học / ở lại. Mục tiêu chính sẽ là dự đoán cho các nhóm mới của sinh viên, nhưng chúng tôi không có lý do gì để tin rằng họ sẽ thay đổi nhiều so với đoàn hệ năm ngoái.

Thông thường, tôi không có dữ liệu xa xỉ như vậy và thực hiện mô hình phù hợp với một số hình phạt, nhưng lần này tôi nghĩ tách các tập dữ liệu thử nghiệm và đào tạo int và sau đó thực hiện lựa chọn biến trên tập huấn luyện; sau đó sử dụng tập dữ liệu thử nghiệm để ước tính các tham số và khả năng dự đoán.

Đây có phải là một chiến lược tốt? Nếu không, cái gì tốt hơn?

Trích dẫn chào mừng nhưng không cần thiết.

Với tần suất kết quả tương tự tôi đã thấy rằng việc chia tách dữ liệu có thể hoạt động nếu . Và nó cung cấp một ước tính không thiên vị về hiệu suất mô hình, xử phạt đúng cách cho lựa chọn mô hình (nếu bạn thực sự cần lựa chọn mô hình; hình phạt vẫn có nhiều khả năng dẫn đến một mô hình tốt hơn) nếu bạn chỉ sử dụng mẫu thử nghiệm một lần. NHƯNG không sử dụng mẫu thử cho bất kỳ ước tính lại các tham số. Việc phân tách dữ liệu dựa trên mô hình được xây dựng bằng cách sử dụng mẫu đào tạo để được đưa vào "đóng băng sâu" và áp dụng cho mẫu thử mà không cần điều chỉnh.$n > 20,000$

Bản thân tôi đã xem bài báo này cho nhiệm vụ tương tự là xác thực chéo dự đoán sinh tồn. Các bit tốt bắt đầu ở Chương 2.

Tôi đã tìm thấy bài báo này không chỉ trả lời câu hỏi của tôi, mà còn cung cấp một phương pháp để tìm ra sự phân chia tối ưu cho các tập dữ liệu cụ thể. Tôi đã tìm thấy điều này nhờ vào việc sử dụng thuật ngữ "cấu hình phân tách tối ưu" của @FrankHarrell mà sau đó tôi đã Googled.