Thêm trọng số vào hồi quy logistic cho dữ liệu mất cân bằng

Tôi muốn mô hình một hồi quy logistic với dữ liệu mất cân bằng (9: 1). Tôi muốn thử tùy chọn trọng số trong glmhàm trong R, nhưng tôi không chắc chắn 100% nó làm gì.

Hãy nói biến đầu ra của tôi là c(0,0,0,0,0,0,0,0,0,1). bây giờ tôi muốn tăng cân gấp "1" 10 lần. Vì vậy, tôi đưa ra các đối số trọng số weights=c(1,1,1,1,1,1,1,1,1,1,1,10).

Khi tôi làm điều đó, nó sẽ được xem xét trong tính toán khả năng tối đa. Tôi có đúng không phân loại sai của "1" chỉ tệ hơn 10 lần sau đó phân loại sai "0".

Chính, bạn không cần phải làm cho bộ dữ liệu của mình được cân bằng theo các giá trị 1 và 0. Tất cả những gì bạn cần là đủ số 1 để có khả năng hội tụ tối đa. Nhìn vào phân phối của 1 (100.000) trong tập dữ liệu của bạn, bạn không nên có bất kỳ vấn đề nào. Bạn có thể làm một thí nghiệm đơn giản ở đây

1. Lấy mẫu 10% của 1 và 10% của 0 và sử dụng trọng số 10 cho cả hai
2. Lấy mẫu 100% của 1 và 10% của 0 và sử dụng trọng số 10 cho 0

Trong cả hai trường hợp, bạn sẽ nhận được ước tính giống hệt nhau. Một lần nữa ý tưởng về trọng số có liên quan đến lấy mẫu. Nếu bạn đang sử dụng toàn bộ tập dữ liệu, bạn không nên cân nó. Nếu tôi là bạn, tôi sẽ chỉ sử dụng 10% nếu 1 và 10% của 0.

Trong R, bạn sẽ sử dụng glm. Đây là một mã mẫu:

glm(y ~ x1 + x2, weights = wt, data =data, family = binomial("logit"))

Trong tập dữ liệu của bạn nên có một biến wtcho trọng số.

Nếu bạn sử dụng 10% của cả 0 và 1, wtbiến của bạn sẽ có giá trị là 10.

Nếu bạn sử dụng 10% của 0 và 100% của 1: wtbiến sẽ có giá trị 10 cho các quan sát với y = 0 và 1 cho các quan sát với y = 1

Trọng số là một thủ tục có trọng số dữ liệu để bù cho sự khác biệt về mẫu và dân số (King 2001). Ví dụ: trong các sự kiện hiếm gặp (như gian lận rủi ro tín dụng, tử vong trong tài liệu y khoa), chúng tôi có xu hướng lấy mẫu tất cả 1 (sự kiện hiếm) và một phần 0 (không phải sự kiện). Trong những trường hợp như vậy, chúng ta phải cân nhắc các quan sát cho phù hợp.

Ví dụ: Chúng ta hãy nói, trong một dân số 500.000 giao dịch có 50 giao dịch gian lận. Trong trường hợp này bạn sẽ

1. Mẫu tất cả 50 giao dịch gian lận (100% gian lận)
2. 10% giao dịch tốt (10% trong số 500.000 là 50.000 giao dịch tốt)

Trong trường hợp này, bạn sẽ chỉ định trọng số 1 cho các giao dịch gian lận và trọng số 10 cho các giao dịch tốt. Đây được gọi là phương pháp Khả năng tối đa có trọng số. Điểm quan trọng là trọng số có liên quan đến tỷ lệ lấy mẫu

Tham khảo: Hồi quy logistic trong dữ liệu sự kiện hiếm (King 2001)