Giả sử tôi đã xây dựng một mô hình dự đoán cho sự xuất hiện của một bệnh cụ thể trong một tập dữ liệu (tập dữ liệu xây dựng mô hình) và bây giờ muốn kiểm tra xem mô hình đó hoạt động tốt như thế nào trong một tập dữ liệu mới (tập dữ liệu xác nhận). Đối với một mô hình được xây dựng bằng hồi quy logistic, tôi sẽ tính xác suất dự đoán cho mỗi người trong bộ dữ liệu xác nhận dựa trên các hệ số mô hình thu được từ tập dữ liệu xây dựng mô hình và sau đó, sau khi phân đôi các xác suất đó ở một giá trị ngưỡng, tôi có thể xây dựng bảng 2x2 cho phép tôi tính tỷ lệ dương thực sự (độ nhạy) và tỷ lệ âm thực (độ đặc hiệu). Hơn nữa, tôi có thể xây dựng toàn bộ đường cong ROC bằng cách thay đổi điểm cắt và sau đó lấy AUC cho biểu đồ ROC.
Bây giờ giả sử rằng tôi thực sự có dữ liệu sinh tồn. Vì vậy, tôi đã sử dụng mô hình mối nguy theo tỷ lệ Cox trong bộ dữ liệu xây dựng mô hình và bây giờ muốn kiểm tra xem mô hình hoạt động tốt như thế nào trong bộ dữ liệu xác nhận. Vì rủi ro cơ bản không phải là một hàm tham số trong các mô hình Cox, tôi không thấy làm thế nào tôi có thể có được xác suất sống dự đoán cho mỗi người trong bộ dữ liệu xác nhận dựa trên các hệ số mô hình thu được trong bộ dữ liệu xây dựng mô hình. Vì vậy, làm thế nào tôi có thể kiểm tra xem mô hình hoạt động tốt như thế nào trong bộ dữ liệu xác nhận? Có phương pháp thành lập để làm điều này? Và nếu có, chúng có được thực hiện trong bất kỳ phần mềm nào không? Cảm ơn trước cho các đề nghị!