Đánh giá mô hình hồi quy logistic

Tôi đã làm việc trên một mô hình logistic và tôi gặp một số khó khăn khi đánh giá kết quả. Mô hình của tôi là một logit nhị thức. Các biến giải thích của tôi là: một biến phân loại với 15 cấp độ, một biến nhị phân và 2 biến liên tục. N của tôi lớn> 8000.

Tôi đang cố gắng mô hình hóa quyết định của các công ty đầu tư. Biến phụ thuộc là đầu tư (có / không), 15 biến cấp là những trở ngại khác nhau cho các khoản đầu tư được báo cáo bởi các nhà quản lý. Các biến còn lại là các điều khiển cho doanh số, tín dụng và năng lực sử dụng.

Dưới đây là kết quả của tôi, sử dụng rmsgói trong R.

  Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
Obs          8035    LR chi2     399.83    R2       0.067    C       0.632    
 1           5306    d.f.            17    g        0.544    Dxy     0.264    
 2           2729    Pr(> chi2) <0.0001    gr       1.723    gamma   0.266    
max |deriv| 6e-09                          gp       0.119    tau-a   0.118    
                                           Brier    0.213                     

          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept -0.9501 0.1141 -8.33  <0.0001 
x1=10     -0.4929 0.1000 -4.93  <0.0001 
x1=11     -0.5735 0.1057 -5.43  <0.0001 
x1=12     -0.0748 0.0806 -0.93  0.3536  
x1=13     -0.3894 0.1318 -2.96  0.0031  
x1=14     -0.2788 0.0953 -2.92  0.0035  
x1=15     -0.7672 0.2302 -3.33  0.0009  
x1=2      -0.5360 0.2668 -2.01  0.0446  
x1=3      -0.3258 0.1548 -2.10  0.0353  
x1=4      -0.4092 0.1319 -3.10  0.0019  
x1=5      -0.5152 0.2304 -2.24  0.0254  
x1=6      -0.2897 0.1538 -1.88  0.0596  
x1=7      -0.6216 0.1768 -3.52  0.0004  
x1=8      -0.5861 0.1202 -4.88  <0.0001 
x1=9      -0.5522 0.1078 -5.13  <0.0001 
d2         0.0000 0.0000 -0.64  0.5206  
f1        -0.0088 0.0011 -8.19  <0.0001 
k8         0.7348 0.0499 14.74  <0.0001 

Về cơ bản tôi muốn đánh giá hồi quy theo hai cách, a) mô hình phù hợp với dữ liệu như thế nào và b) mô hình dự đoán kết quả tốt như thế nào. Để đánh giá mức độ phù hợp (a), tôi nghĩ các thử nghiệm sai lệch dựa trên bình phương không phù hợp trong trường hợp này vì số lượng hiệp phương sai duy nhất xấp xỉ N, vì vậy chúng tôi không thể giả sử phân phối X2. Giải thích này có đúng không?

Tôi có thể thấy các đồng biến bằng cách sử dụng epiRgói.

require(epiR)
logit.cp <- epi.cp(logit.df[-1]))

    id n x1   d2 f1 k8
     1 1 13 2030 56  1
     2 1 14  445 51  0
     3 1 12 1359 51  1
     4 1  1 1163 39  0
     5 1  7  547 62  0
     6 1  5 3721 62  1
    ...
    7446

Tôi cũng đã đọc rằng thử nghiệm GoF của Hosmer-Lemeshow đã lỗi thời, vì nó chia dữ liệu cho 10 để chạy thử nghiệm, điều này khá tùy tiện.

Thay vào đó, tôi sử dụng bài kiểm tra le Cessie Sĩ van Houwelingen, Copas Line, được thực hiện trong rmsgói. Tôi không chắc chính xác cách thức kiểm tra này được thực hiện, tôi chưa đọc các tài liệu về nó. Trong mọi trường hợp, kết quả là:

Sum of squared errors    Expected value|H0           SD             Z            P
         1711.6449914         1712.2031888    0.5670868    -0.9843245    0.3249560

P là lớn, vì vậy không có đủ bằng chứng để nói rằng mô hình của tôi không phù hợp. Tuyệt quá! Tuy nhiên....

Khi kiểm tra khả năng dự đoán của mô hình (b), tôi vẽ đường cong ROC và thấy rằng AUC là 0.6320586. Trông nó không được đẹp lắm.

Vì vậy, để tổng hợp các câu hỏi của tôi:

1. Các bài kiểm tra tôi chạy có phù hợp để kiểm tra mô hình của tôi không? Những thử nghiệm khác tôi có thể xem xét?

2. Bạn có thấy mô hình này hữu ích chút nào không, hoặc bạn sẽ loại bỏ nó dựa trên kết quả phân tích ROC tương đối kém?

Có hàng ngàn thử nghiệm mà người ta có thể áp dụng để kiểm tra mô hình hồi quy logistic, và phần lớn trong số này phụ thuộc vào mục tiêu của một người là dự đoán, phân loại, lựa chọn biến, suy luận, mô hình nguyên nhân, v.v. hiệu chuẩn mô hình và liệu các giá trị dự đoán có xu hướng phù hợp với tần suất dự đoán khi phân tách bằng các phân tách rủi ro. Mặc dù, lựa chọn 10 là tùy ý, thử nghiệm có kết quả tiệm cận và có thể dễ dàng sửa đổi. Thử nghiệm HL, cũng như AUC, có (theo tôi) kết quả rất không thú vị khi được tính toán trên cùng một dữ liệu được sử dụng để ước tính mô hình hồi quy logistic. Đây là một chương trình tuyệt vời như SAS và SPSS đã đưa ra báo cáo thống kê thường xuyên cho các phân tích khác nhau thực tếcách trình bày kết quả hồi quy logistic. Các thử nghiệm về độ chính xác dự đoán (ví dụ: HL và AUC) được sử dụng tốt hơn với các bộ dữ liệu độc lập hoặc dữ liệu (thậm chí tốt hơn) được thu thập qua các giai đoạn khác nhau để đánh giá khả năng dự đoán của mô hình.

Một điểm khác để làm là dự đoán và suy luận là những điều rất khác nhau. Không có cách nào khách quan để đánh giá dự đoán, AUC 0,65 rất tốt để dự đoán các sự kiện rất hiếm gặp và phức tạp như nguy cơ ung thư vú 1 năm. Tương tự như vậy, suy luận có thể bị buộc tội là tùy tiện vì tỷ lệ dương tính giả truyền thống 0,05 chỉ thường được ném xung quanh.

Nếu tôi là bạn, mô tả vấn đề của bạn dường như quan tâm đến việc mô hình hóa các hiệu ứng của người quản lý đã báo cáo "trở ngại" trong đầu tư, vì vậy hãy tập trung vào việc trình bày các hiệp hội điều chỉnh mô hình. Trình bày các ước tính điểm và khoảng tin cậy 95% cho các tỷ lệ cược mô hình và được chuẩn bị để thảo luận về ý nghĩa, giải thích và tính hợp lệ của chúng với những người khác. Một lô rừng là một công cụ đồ họa hiệu quả. Bạn cũng phải hiển thị tần suất của những trở ngại này trong dữ liệu và trình bày sự hòa giải của chúng bằng các biến điều chỉnh khác để chứng minh khả năng gây nhiễu là nhỏ hay lớn trong kết quả không được điều chỉnh. Tôi sẽ đi xa hơn và khám phá các yếu tố như Cronbach's alpha về tính nhất quán giữa các nhà quản lý đã báo cáo các trở ngại để xác định xem các nhà quản lý có xu hướng báo cáo các vấn đề tương tự hay không, hoặc,

Tôi nghĩ rằng bạn hơi quá tập trung vào các con số và không phải là câu hỏi trong tầm tay. 90% bài thuyết trình thống kê tốt diễn ra trước khi kết quả mô hình được trình bày.