Chẩn đoán hồi quy logistic?


74

Đối với hồi quy tuyến tính, chúng ta có thể kiểm tra các ô chẩn đoán (các ô dư, các ô QQ bình thường, v.v.) để kiểm tra xem các giả định của hồi quy tuyến tính có bị vi phạm hay không.

Đối với hồi quy logistic, tôi gặp khó khăn khi tìm tài nguyên giải thích cách chẩn đoán mô hình hồi quy logistic phù hợp. Khai thác một số ghi chú khóa học cho GLM, nó chỉ đơn giản nói rằng việc kiểm tra phần dư không hữu ích để thực hiện chẩn đoán cho phù hợp với hồi quy logistic.

Nhìn trên internet, dường như cũng có nhiều quy trình "chẩn đoán" khác nhau, chẳng hạn như kiểm tra độ lệch của mô hình và thực hiện các xét nghiệm chi bình phương, nhưng các nguồn khác nói rằng điều này là không phù hợp, và bạn nên thực hiện mức độ phù hợp của Hosmer-Lemeshow kiểm tra. Sau đó, tôi tìm thấy các nguồn khác nói rằng thử nghiệm này có thể phụ thuộc nhiều vào các nhóm thực tế và các giá trị giới hạn (có thể không đáng tin cậy).

Vậy làm thế nào để chẩn đoán hồi quy logistic phù hợp?


1
Có thể trùng lặp (hoặc trường hợp đặc biệt) của stats.stackexchange.com/questions/29271/ Hay hoặc stats.stackexchange.com/questions/44643/ , mặc dù cả hai đều không có câu trả lời nào thực sự giải quyết được cho bạn.
Peter Ellis

1
Tôi khuyên bạn nên đọc chuyên khảo của Scott Menard, cách đây không lâu đã có sẵn toàn bộ miễn phí trên web.
rolando2

2
Câu hỏi này về mức độ phù hợp của các biện pháp phù hợp cho hồi quy logistic có thể hữu ích (mặc dù mức độ phù hợp tất nhiên chỉ là một phần nhỏ của chẩn đoán mô hình): stats.stackexchange.com/questions/3559/logistic-regression-which-pseudo-r- bình phương-đo-là-một-để-báo cáo-cox / 3570
S. Kolassa - Tái lập Monica

Câu trả lời:


39

Một vài kỹ thuật mới hơn mà tôi đã tìm thấy để đánh giá sự phù hợp của mô hình hồi quy logistic đến từ các tạp chí khoa học chính trị:

  • Greeoping, Brian, Michael D. Ward & Audrey Sacks. 2011. Biểu đồ phân tách: Một phương pháp trực quan mới để đánh giá sự phù hợp của các mô hình nhị phân. Tạp chí Khoa học Chính trị Hoa Kỳ 55 (4): 991-1002 .
  • Esarey, Justin và Andrew Pierce. 2012. Đánh giá chất lượng phù hợp và kiểm tra lỗi chính tả trong các mô hình biến phụ thuộc nhị phân. Phân tích chính trị 20 (4): 480-500 . PDF in sẵn ở đây

Cả hai kỹ thuật này đều có mục đích thay thế các bài kiểm tra Mức độ phù hợp (như Hosmer & Lemeshow) và xác định đặc tả sai tiềm năng (đặc biệt là tính phi tuyến tính trong các biến được bao gồm trong phương trình). Đây là đặc biệt hữu ích vì các biện pháp phù hợp R-vuông điển hình thường xuyên bị chỉ trích .

Cả hai bài viết trên đều sử dụng xác suất dự đoán so với kết quả quan sát được trong các ô - phần nào tránh được vấn đề không rõ ràng về phần dư trong các mô hình đó là gì. Ví dụ về phần dư có thể là đóng góp cho khả năng đăng nhập hoặc phần dư Pearson (tôi tin rằng có nhiều hơn nữa). Một biện pháp khác thường được quan tâm (mặc dù không phải là dư) là của DFBeta (số tiền ước tính hệ số thay đổi khi một quan sát được loại trừ khỏi mô hình). Xem các ví dụ trong Stata cho trang UCLA này về Chẩn đoán hồi quy logistic cùng với các quy trình chẩn đoán tiềm năng khác.

Tôi không có ích gì, nhưng tôi tin rằng Mô hình hồi quy của J. Scott Long cho các biến phụ thuộc phân loại và giới hạn đi vào chi tiết đầy đủ về tất cả các biện pháp chẩn đoán khác nhau này một cách đơn giản.


2
Có rất nhiều sách khác trên (ít nhất là một phần nếu không phải là toàn bộ) cho hồi quy logistic. Những cuốn sách văn bản phân tích dữ liệu phân loại khác nhau của Agresti, Scott Menard, Hosmer và Lemeshow, và cuốn sách RMS của Frank Harrell là tất cả những cuốn sách mà tôi đã thấy được đề xuất trên diễn đàn này bởi những người đóng góp khác nhau.
Andy W

Cảm ơn bạn vì câu trả lời. Tôi đoán không có câu trả lời đơn giản cho câu hỏi của tôi. Tôi sẽ xem xét các khuyến nghị của bạn. Chúc mừng.
ialm

23

Câu hỏi không đủ động lực. Phải có một lý do để chạy chẩn đoán mô hình, chẳng hạn như

  • Tiềm năng thay đổi mô hình để làm cho nó tốt hơn
  • Không biết nên sử dụng thử nghiệm có định hướng nào (nghĩa là thử nghiệm không tuyến tính hoặc tương tác)
  • P

Ngoại trừ việc kiểm tra những thứ trực giao với đặc tả hồi quy đại số (ví dụ, kiểm tra phân phối phần dư trong các mô hình tuyến tính thông thường), chẩn đoán mô hình có thể tạo ra nhiều vấn đề như chúng tôi giải quyết. Điều này đặc biệt đúng với mô hình logistic nhị phân vì nó không có giả định phân phối.

Vì vậy, thường là tốt hơn để dành thời gian chỉ định mô hình, đặc biệt là không giả định tuyến tính cho các biến được cho là mạnh mà không có bằng chứng trước cho thấy tuyến tính. Trong một số trường hợp, bạn có thể chỉ định trước một mô hình phải phù hợp, ví dụ: nếu số lượng dự đoán nhỏ hoặc bạn cho phép tất cả các dự đoán là phi tuyến và (chính xác) giả sử không có tương tác.

Bất cứ ai cảm thấy rằng chẩn đoán mô hình có thể được sử dụng để thay đổi mô hình nên chạy quy trình đó trong vòng lặp bootstrap để ước tính chính xác độ không đảm bảo của mô hình cảm ứng.


4
Tôi đồng ý rằng chẩn đoán mô hình nên xuất phát từ mục đích của mô hình. Tuy nhiên, tôi có ấn tượng từ đoạn mở đầu của bạn rằng bạn nghĩ chúng ta không nên kiểm tra các mô hình phù hợp với dữ liệu. Tôi khá chắc chắn rằng đây không phải là những gì bạn có trong tâm trí. Bên cạnh đó, mô hình logistic nhị phân chắc chắn nhất không có giả định phân phối! (rõ ràng nhất là chỉ có hai giá trị tồn tại cho phản hồi)
xác suất

3
Khác với giả sử chỉ có 2 giá trị cụ thể có thể có cho Y, mô hình logistic nhị phân không có dist. các giả định. Cá nhân tôi không thường xuyên sử dụng các sơ đồ chẩn đoán với hồi quy logistic, thay vào đó, chọn tham gia để chỉ định các mô hình đủ linh hoạt để phù hợp với dữ liệu theo bất kỳ cách nào kích thước mẫu mang lại cho chúng tôi sự sang trọng để kiểm tra. Trong OLS, biểu đồ chẩn đoán chính mà tôi sử dụng là biểu đồ qq cho tính quy tắc của phần dư.
Frank Harrell

Từ quan điểm mô hình tuyến tính tổng quát, mô hình logistic phát sinh từ phân phối nhị thức (phân phối Bernoulli). Nhưng ngay cả sau đó, nó là har để giải thích dư.
New_to_this

Nói về phân phối khi biến ngẫu nhiên chỉ có thể nhận hai giá trị (nghĩa là phân phối Bernoulli) không hữu ích vì không có cách nào mà giả định phân phối có thể sai trừ khi các quan sát không độc lập.
Frank Harrell

1
@FrankHarrell Tôi nhận ra rằng bạn biết những gì bạn đang nói ở đây, nhưng tôi không nghĩ rằng sẽ rõ ràng cho toàn bộ cộng đồng từ bài đăng / nhận xét của bạn rằng đặc tả sai của công cụ dự đoán tuyến tính (hoặc thậm chí là công cụ dự đoán phụ gia trong Khung GAM) có thể gây ra vấn đề cho hồi quy logistic. Nhiều người có thể không đánh giá cao rằng điều này tạo ra sự không độc lập trong dữ liệu, như bạn nói. Khi sinh viên lần đầu tiên gặp phải hồi quy tuyến tính, họ học cách kiểm tra các phần dư mà không phân biệt giữa sai chính tả của bộ dự báo tuyến tính và sai chính tả của phân phối lỗi.
Jacob Socolar

5

Chủ đề này khá cũ, nhưng tôi nghĩ sẽ rất hữu ích khi thêm vào đó, vì gần đây, bạn có thể sử dụng gói DHARMa R để biến đổi phần dư của bất kỳ GL (M) M nào thành không gian chuẩn. Một khi điều này được thực hiện, bạn có thể đánh giá / kiểm tra các vấn đề còn lại một cách trực quan như độ lệch so với phân phối, sự phụ thuộc còn lại vào một yếu tố dự đoán, độ không đồng nhất hoặc tự tương quan theo cách thông thường. Xem các họa tiết gói cho các ví dụ thông qua, cũng có các câu hỏi khác về CV ở đâyđây .

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.