So sánh các mô hình hồi quy logistic nhị phân lồng nhau khi lớn

Để hỏi rõ hơn câu hỏi của tôi, tôi đã cung cấp một số kết quả đầu ra từ cả mô hình biến 16 ( fit) và mô hình biến 17 ( fit2) bên dưới (tất cả các biến dự đoán trong các mô hình này là liên tục, trong đó sự khác biệt duy nhất giữa các mô hình này là fitkhông chứa biến 17 (var17)):

fit                    Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
 Obs        102849    LR chi2   13602.84    R2       0.173    C       0.703    
  0          69833    d.f.            17    g        1.150    Dxy     0.407    
  1          33016    Pr(> chi2) <0.0001    gr       3.160    gamma   0.416    
 max |deriv| 3e-05                          gp       0.180    tau-a   0.177    
                                            Brier    0.190       


fit2                 Model Likelihood       Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
 Obs        102849    LR chi2   13639.70    R2       0.174    C       0.703    
  0          69833    d.f.            18    g        1.154    Dxy     0.407    
  1          33016    Pr(> chi2) <0.0001    gr       3.170    gamma   0.412    
 max |deriv| 3e-05                          gp       0.180    tau-a   0.177    
                                            Brier    0.190          

Tôi đã sử dụng rmsgói của Frank Harrell để xây dựng các lrmmô hình này . Như bạn có thể thấy, các mô hình này dường như không thay đổi nhiều, nếu có, trên các Chỉ số phân biệt đối xử và Xếp hạng phân biệt . Chỉ số ; tuy nhiên, bằng cách sử dụng lrtest(fit,fit2), tôi đã được cung cấp các kết quả sau:

 L.R. Chisq         d.f.            P 
3.685374e+01     1.000000e+00    1.273315e-09 

Như vậy, chúng tôi sẽ bác bỏ giả thuyết khống về thử nghiệm tỷ lệ khả năng này; tuy nhiên, tôi cho rằng điều này có thể là do kích thước mẫu lớn ( n = 102849) vì các mô hình này dường như hoạt động theo kiểu tương tự. Hơn nữa, tôi quan tâm đến việc tìm ra một cách tốt hơn để so sánh chính thức các mô hình hồi quy logistic nhị phân lồng nhau khi n lớn.

Tôi đánh giá rất cao bất kỳ phản hồi, tập lệnh R hoặc tài liệu nào có thể giúp tôi đi đúng hướng trong việc so sánh các loại mô hình lồng nhau này! Cảm ơn!

(1) Có một tài liệu phong phú về lý do tại sao người ta nên thích các mô hình đầy đủ hơn các mô hình bị hạn chế / phân tích. Sự hiểu biết của tôi là một vài lý do để thích mô hình tuyệt vời. Tuy nhiên, các mô hình lớn hơn có thể không khả thi cho nhiều ứng dụng lâm sàng.

(2) Theo như tôi biết, các chỉ số Phân biệt / Phân biệt đối xử không (? Không nên) được sử dụng làm tham số lựa chọn mô hình / biến. Chúng không dành cho mục đích sử dụng này và kết quả là có thể không có nhiều tài liệu về lý do tại sao chúng không nên được sử dụng để xây dựng mô hình.

(3) Các mô hình phân tích có thể có những hạn chế không dễ thấy. Chúng có thể được hiệu chuẩn kém hơn so với các mô hình lớn hơn, hiệu lực bên ngoài / bên trong có thể bị giảm.

(4) Thống kê c có thể không tối ưu trong việc đánh giá các mô hình dự đoán rủi ro trong tương lai hoặc phân tầng các cá nhân thành các loại rủi ro. Trong cài đặt này, hiệu chuẩn cũng quan trọng đối với việc đánh giá chính xác rủi ro. Ví dụ, một dấu ấn sinh học với tỷ lệ chênh lệch 3 có thể ít ảnh hưởng đến cstatistic, tuy nhiên mức tăng có thể làm thay đổi nguy cơ tim mạch 10 năm ước tính cho một bệnh nhân từ 8% đến 24%

Nấu NR; Sử dụng và sử dụng sai đường cong ROC trong tài liệu y khoa. Vòng tuần hoàn. 115 2007: 928-935.

(5) AUC / c-statistic / phân biệt đối xử được biết là không nhạy cảm với các biến dự đoán quan trọng. Điều này được thảo luận trong tài liệu tham khảo Cook ở trên và động lực thúc đẩy sự phát triển của chỉ số phân loại lại ròng. Cũng thảo luận trong Cook ở trên.

(6) Bộ dữ liệu lớn vẫn có thể dẫn đến các mô hình lớn hơn mong muốn nếu sử dụng các phương pháp chọn biến tiêu chuẩn. Trong các quy trình lựa chọn từng bước thường sử dụng mức cắt giảm giá trị p là 0,05. Nhưng không có gì thực chất về giá trị này có nghĩa là bạn nên chọn giá trị này. Với các bộ dữ liệu nhỏ hơn, giá trị p lớn hơn (0,2) có thể phù hợp hơn, trong các bộ dữ liệu lớn hơn, giá trị p nhỏ hơn có thể phù hợp (0,01 được sử dụng cho bộ dữ liệu GUSTO I vì lý do này).

(7) Mặc dù AIC thường được sử dụng để lựa chọn mô hình và được tài liệu hỗ trợ tốt hơn, BIC có thể là sự thay thế hợp lệ trong các bộ dữ liệu lớn hơn. Đối với lựa chọn mô hình BIC, bình phương phải vượt quá log (n), do đó nó sẽ dẫn đến các mô hình nhỏ hơn trong các bộ dữ liệu lớn hơn. (Mallow's có thể có đặc điểm tương tự)

(8) Nhưng nếu bạn chỉ muốn tối đa 10 hoặc 12 biến, giải pháp dễ dàng hơn là một cái gì đó giống như bestglmhoặc leapscác gói bạn chỉ cần đặt số lượng biến tối đa bạn muốn xem xét.

(9) nếu bạn chỉ muốn một thử nghiệm sẽ làm cho hai mô hình trông giống nhau và không quá lo lắng về các chi tiết, bạn có thể so sánh AUC của hai mô hình. Một số gói thậm chí sẽ cung cấp cho bạn một giá trị p để so sánh. Có vẻ không nên.

Ambler G (2002) Đơn giản hóa mô hình tiên lượng: nghiên cứu mô phỏng dựa trên dữ liệu lâm sàng
Cook NR; Sử dụng và sử dụng sai đường cong ROC trong tài liệu y khoa. Vòng tuần hoàn. 115 2007: 928-935.
Gail MH, Pfeiffer RM; Về tiêu chí đánh giá mô hình rủi ro tuyệt đối. Biuler. 6 2005: 227-239.

(10) Một khi mô hình đã được xây dựng, các chỉ số thống kê / số thập phân có thể không phải là cách tiếp cận tốt nhất để so sánh các mô hình và có các hạn chế được ghi chép rõ ràng. So sánh cũng có khả năng tối thiểu bao gồm hiệu chuẩn, chỉ số phân loại lại.

Steyerber (2010) Đánh giá hiệu suất của các mô hình dự đoán: khuôn khổ cho một số biện pháp truyền thống và mới lạ

(11) Có thể là một ý tưởng tốt để vượt lên trên và sử dụng các biện pháp phân tích quyết định.

Vickers AJ, Elkin EB. Phân tích đường cong quyết định: một phương pháp mới để đánh giá các mô hình dự đoán. Med Decis Làm. 2006; 26: 565-74.
Baker SG, Cook NR, Vickers A, Kramer BS. Sử dụng các đường cong tiện ích tương đối để đánh giá dự đoán rủi ro. JR Stat Soc A. 2009; 172: 729-48.
Van Calster B, Vickers AJ, Pencina MJ, Baker SG, Timmerman D, Steyerberg EW. Đánh giá các điểm đánh dấu và các mô hình dự đoán rủi ro: Tổng quan về mối quan hệ giữa NRI và các biện pháp phân tích quyết định. Med Decis Làm. 2013; 33: 490-501

--- Cập nhật --- Tôi thấy bài viết của Vickers thú vị nhất. Nhưng điều này vẫn chưa được chấp nhận rộng rãi mặc dù có nhiều bài xã luận. Vì vậy, có thể không được sử dụng nhiều trong thực tế. Các bài viết của Cook và Steyerberg thực tế hơn nhiều.

Không ai thích lựa chọn từng bước. Tôi chắc chắn sẽ không ủng hộ nó. Tôi có thể nhấn mạnh rằng hầu hết những lời chỉ trích từng bước giả định EPV <50 và lựa chọn giữa một mô hình đầy đủ hoặc được chỉ định trước và một mô hình rút gọn. Nếu EPV> 50 và có cam kết giảm mô hình, phân tích lợi ích chi phí có thể khác.

Suy nghĩ yếu đằng sau việc so sánh thống kê c là chúng có thể không khác biệt và tôi dường như nhớ rằng bài kiểm tra này bị thiếu sức mạnh đáng kể. Nhưng bây giờ tôi không thể tìm thấy tài liệu tham khảo, vì vậy có thể không còn cơ sở.

Một lựa chọn là sử dụng các biện pháp R-vuông giả cho cả hai mô hình. Một sự khác biệt mạnh mẽ trong hình vuông giả R sẽ gợi ý rằng mô hình phù hợp giảm mạnh bằng cách bỏ qua V17.

Có nhiều loại hình vuông giả khác nhau có sẵn. Tổng quan có thể được tìm thấy ở đây, ví dụ:

http://www.ats.ucla.edu/stat/mult_pkg/faq/general/Psuedo_RSquareds.htmlm

Một biện pháp phổ biến là Nagelkerke R-vuông. Nó thay đổi trong khoảng từ 0 đến 1 và, cẩn thận, có thể được hiểu như R bình phương từ mô hình hồi quy tuyến tính đơn giản. Nó dựa trên tỷ lệ chuyển đổi khả năng ước tính của mô hình đầy đủ so với mô hình chỉ đánh chặn.

Bạn có thể ước tính nó cho fitvà fit2, tương ứng, và so sánh kích thước tương đối để có chỉ dẫn về vấn đề của bạn. Một R-vuông Nagelkerke cao hơn đáng kể fitsẽ cho thấy rằng fit2mất rất nhiều sức mạnh dự đoán bằng cách bỏ qua V17.

Trong lrmcác statsgiá trị cung cấp Nagelkerke của R-squared. Vì vậy, cho fit$statsnên cung cấp cho bạn một ước tính. Xem thêm ?lrm.

Tôi chỉ đọc về điều này. Cách thích hợp để làm điều này là sử dụng đầu ra cuối cùng của Rm glm và tìm "Độ lệch dư:" và lấy đồng bằng giữa hai mô hình và sử dụng giá trị này trong phép thử chi bình phương bằng cách sử dụng df bằng với số thuật ngữ dự đoán bị bỏ. Và đó là giá trị p của bạn.

Mô hình hồi quy ứng dụng Iaian Pardoe phiên bản 2 2012 pg 270