Hồi quy logistic đang dự đoán tất cả 1 và không 0

Tôi đang chạy một phân tích về xác suất vỡ nợ cho vay bằng cách sử dụng hồi quy logistic và rừng ngẫu nhiên.

Khi tôi sử dụng hồi quy logistic, dự đoán luôn luôn là '1' (có nghĩa là khoản vay tốt). Tôi chưa bao giờ thấy điều này trước đây và không biết bắt đầu từ đâu khi cố gắng giải quyết vấn đề. Có 22 cột với 600K hàng. Khi tôi giảm # cột, tôi nhận được kết quả tương tự với hồi quy logistic.

Tại sao hồi quy logistic có thể sai như vậy?

**Actual from the data**

0 :   41932

1 :   573426

**Logistic regression output** 

prediction for 1 when actually 0: 41932
prediction for 1 when actually 1:573426

A**s you can see, it always predicts a 1**


**Random forests does better:**

actual 0, pred 0 : 38800 
actual 1, pred 0 : 27 
actual 0, pred 1 : 3132
actual 1, pred 1 : 573399

Chà, điều đó có nghĩa là mô hình của bạn luôn tiên đoán 1. Hãy xem tập dữ liệu của bạn: nó bị mất cân bằng nghiêm trọng theo hướng có lợi cho lớp tích cực của bạn. Lớp phủ định chỉ chiếm ~ 7% dữ liệu của bạn. Hãy thử cân bằng lại tập huấn luyện của bạn hoặc sử dụng thuật toán nhạy cảm với chi phí.

Câu trả lời ngắn gọn là hồi quy logistic là để ước tính xác suất , không có gì nhiều hay ít. Bạn có thể ước tính xác suất cho dù mất cân bằng như thế nào . Các đường cong ROC và một số biện pháp khác được đưa ra trong cuộc thảo luận không giúp ích gì. Nếu bạn cần đưa ra quyết định hoặc thực hiện một hành động, bạn áp dụng hàm mất / tiện ích / chi phí cho rủi ro dự đoán và chọn hành động tối ưu hóa tiện ích dự kiến. Có vẻ như rất nhiều người dùng máy học không thực sự hiểu rủi ro và quyết định tối ưu.$Y$

Khi bạn phân loại bằng cách sử dụng logit, đây là những gì xảy ra.

Logit dự đoán xác suất mặc định (PD) của khoản vay, là một số trong khoảng từ 0 đến 1. Tiếp theo, bạn đặt ngưỡng D, sao cho bạn đánh dấu khoản vay thành mặc định nếu PD> D và đánh dấu nó là không mặc định nếu PD

Đương nhiên, trong một quần thể cho vay điển hình PD << 1. Vì vậy, trong trường hợp của bạn, 7% là xác suất khá cao của dữ liệu một năm (PD thường được báo cáo hàng năm). Nếu đây là dữ liệu nhiều năm, thì chúng ta đang nói về cái gọi là PD tích lũy, ví dụ trong trường hợp này cumPD = 7% không phải là con số cao trong 10 năm dữ liệu. Do đó, theo bất kỳ tiêu chuẩn nào, tôi sẽ không nói rằng tập dữ liệu của bạn có vấn đề. Tôi sẽ mô tả nó ít nhất là điển hình cho dữ liệu mặc định cho vay, nếu không phải là tuyệt vời (theo nghĩa là bạn có số lượng mặc định tương đối lớn).

Bây giờ, giả sử rằng mô hình của bạn dự đoán ba cấp độ PD sau:

• 0,1 (563.426)
• 0,5 (20.000)
• 0,9 (31.932)

Giả sử cũng có mặc định thực tế cho các nhóm này là:

• 0
• 10.000
• 31.932

Bây giờ bạn có thể đặt D thành các giá trị khác nhau và xem ma trận thay đổi như thế nào. Trước tiên hãy sử dụng D = 0,4:

• Mặc định thực tế, dự đoán không mặc định: 0
• Mặc định thực tế, dự đoán mặc định: 41.932
• Thực tế không mặc định, dự đoán không mặc định: 563.426
• Thực tế không mặc định, dự đoán mặc định: 10.000

Nếu bạn đặt D = 0,6:

• Mặc định thực tế, dự đoán không mặc định: 31.932
• Mặc định thực tế, dự đoán mặc định: 10.000
• Thực tế không mặc định, dự đoán không mặc định: 573.426
• Thực tế không mặc định, dự đoán mặc định: 0

Nếu bạn đặt D = 0,99:

• Mặc định thực tế, dự đoán không mặc định: 41.932
• Mặc định thực tế, dự đoán mặc định: 0
• Thực tế không mặc định, dự đoán không mặc định: 573.426
• Thực tế không mặc định, dự đoán mặc định: 0

Trường hợp cuối cùng là những gì bạn thấy trong kết quả mô hình của bạn. Trong trường hợp này, tôi nhấn mạnh ngưỡng D cho trình phân loại. Một thay đổi đơn giản trong D có thể cải thiện các đặc điểm nhất định của dự báo của bạn. Lưu ý rằng trong cả ba trường hợp, PD được dự đoán vẫn giữ nguyên, chỉ có ngưỡng D đã thay đổi.

Tất nhiên, nó cũng có thể là hồi quy logit của bạn là crappy, tất nhiên. Vì vậy, trong trường hợp này bạn có ít nhất hai biến: thông số logit và ngưỡng. Cả hai đều tác động đến sức mạnh dự báo của bạn.

Nếu vấn đề thực sự là sự mất cân bằng giữa các lớp, tôi chỉ đơn giản là bắt đầu bằng cách cân bằng các trọng số của lớp:

log_reg = LogisticRegression(class_weight = 'balanced')

Cài đặt tham số này có nghĩa là các hình phạt cho dự đoán sai trong hàm mất sẽ được tính trọng số với tỷ lệ nghịch với tần số của các lớp. Điều này có thể giải quyết vấn đề bạn mô tả.

Vâng, không có nhiều thông tin khó nói, nhưng theo định nghĩa của hồi quy logistic, bạn đang bão hòa dựa trên dữ liệu được trang bị. Vì vậy, trong phương trình, thuật ngữ e ^ -t sẽ là 0. Vì vậy, nơi đầu tiên để tìm sẽ là xem các hệ số thực tế là gì.

Điều này cũng có thể là do các biến có tỷ lệ thấp. Có thể có một vấn đề trong đó một trong những cột có giá trị bằng số rất lớn so với các cột khác khiến nó bị rối.

Bạn có thể sử dụng SMOTE để cân bằng tập dữ liệu không cân bằng. Một bài báo tốt để tham khảo là:

Lifeng Zhou, Hong Wang, Dự đoán mặc định cho vay về dữ liệu mất cân bằng lớn sử dụng rừng ngẫu nhiên, Tạp chí Kỹ thuật điện của TELKOMNIKA, Vol.10, số 6, tháng 10 năm 2012, trang 1519 ~ 1525, liên kết .