Tôi có một bộ dữ liệu với vài triệu hàng và ~ 100 cột. Tôi muốn phát hiện khoảng 1% các ví dụ trong bộ dữ liệu, thuộc về một lớp chung. Tôi có một ràng buộc chính xác tối thiểu, nhưng do chi phí rất bất đối xứng, tôi không quá quan tâm đến bất kỳ thu hồi cụ thể nào (miễn là tôi không bị bỏ lại 10 trận đấu tích cực!)
Một số cách tiếp cận mà bạn muốn giới thiệu trong cài đặt này là gì? (liên kết đến giấy tờ chào mừng, liên kết đến việc triển khai được đánh giá cao)
Câu trả lời:
Tôi đã tìm thấy He và Garcia (2009) là một đánh giá hữu ích về việc học tập trong các vấn đề của lớp không cân bằng. Dưới đây là một số điều chắc chắn không toàn diện để xem xét:
Phương pháp dựa trên dữ liệu:
Người ta có thể gạch dưới lớp đa số hoặc chồng chéo lớp thiểu số. (Breiman chỉ ra rằng điều này chính thức tương đương với việc gán chi phí phân loại sai không đồng nhất.) Điều này có thể gây ra vấn đề: Việc lấy mẫu có thể khiến người học bỏ lỡ các khía cạnh của lớp đa số; quá khổ làm tăng nguy cơ thừa.
Có các phương pháp "lấy mẫu thông tin" làm giảm các vấn đề này. Một trong số đó là EasyEnsemble , lấy mẫu độc lập một số tập hợp con từ lớp đa số và tạo nhiều phân loại bằng cách kết hợp mỗi tập hợp con với tất cả dữ liệu của lớp thiểu số.
SMOTE (Kỹ thuật tổng hợp quá mức thiểu số) hoặc SMOTEBoost, (kết hợp SMOTE với tăng tốc) tạo ra các thể hiện tổng hợp của lớp thiểu số bằng cách tạo các hàng xóm gần nhất trong không gian tính năng. SMOTE được triển khai trong R trong gói DMwR (đi kèm với cuốn sách Khai thác dữ liệu của Luis Torgo với R, học với các nghiên cứu trường hợp ấn định CRC Press 2016 ).
Phương pháp phù hợp mô hình
Áp dụng các trọng số riêng cho từng lớp trong hàm mất mát của bạn (các trọng số lớn hơn cho các trường hợp thiểu số).
Đối với các cách tiếp cận dựa trên cây, bạn có thể sử dụng khoảng cách Hellinger làm hàm tạp chất nút, như được ủng hộ trong Cieslak et al. "Cây quyết định khoảng cách Hellinger rất mạnh mẽ và không nhạy cảm" ( mã Weka ở đây .)
Sử dụng một trình phân loại một lớp , học một (tùy thuộc vào mô hình) mật độ xác suất hoặc ranh giới cho một lớp và coi lớp kia là ngoại lệ.
Tất nhiên, không sử dụng độ chính xác làm số liệu cho việc xây dựng mô hình. Cohen's kappa là một sự thay thế hợp lý.
Phương pháp đánh giá mô hình
Nếu mô hình của bạn trả về xác suất dự đoán hoặc các điểm số khác, hãy chọn một điểm dừng quyết định tạo ra sự đánh đổi thích hợp trong các lỗi (sử dụng bộ dữ liệu độc lập với đào tạo và thử nghiệm). Trong R, gói OptimalCutpoint thực hiện một số thuật toán, bao gồm cả các thuật toán nhạy cảm với chi phí, để quyết định cắt bỏ.
Hiểu biết của tôi là đây là một lĩnh vực nghiên cứu tích cực trong cộng đồng học máy và không có câu trả lời tuyệt vời, mà thay vào đó là một số lượng lớn các giải pháp tiềm năng đang phát triển. Bạn có thể sẽ nhận được câu trả lời tốt hơn nếu bạn chỉ định các thuật toán cụ thể mà bạn đang xem xét.
Nếu bạn đang sử dụng một mô hình tham số (hồi quy logistic) thì đây không phải là vấn đề và bạn chỉ có thể thay đổi ngưỡng dựa trên hàm mất mát của mình (chi phí âm tính giả thành dương tính giả)
Nếu bạn đang sử dụng thuật toán học máy thì điều này có thể phức tạp hơn. Max Kuhn thực hiện một nỗ lực công bằng trong việc tóm tắt vấn đề trong Chương 16 của "Mô hình dự đoán ứng dụng". Nhưng chủ đề đầy thách thức để tóm tắt. Nếu bạn không muốn mua sách, mã R có sẵn trong gói ApplicationPredictiveModeling cho chương này và có thể đủ tùy thuộc vào mức độ quen thuộc của bạn với R và các thuật toán được sử dụng.
Thông thường các cuộc thảo luận xoay quanh các thuật toán nhấp nhô / quá khổ +/- nhạy cảm với chi phí. Với các biến thể như jous-boost cũng có thể.
Một ví dụ về loại thảo luận này: Chen et al "Sử dụng rừng ngẫu nhiên để tìm hiểu dữ liệu mất cân bằng" http: //statistic.ber siêu.edu / sites / default / files / tech-report /666.pdf
Bạn có thể xem qua triển khai của scikit-learn. chú ý đến đối số trọng số class_ có thể có các giá trị của một từ điển có trọng số lớp hoặc 'tự động':
class sklearn.svm.SVC (C = 1.0, kernel = 'rbf', độ = 3, gamma = 0.0, coef0 = 0.0, thu nhỏ = True, xác suất = Sai, tol = 0,001, cache_size = 200, class_ weight = Không, verbose = Sai, max_iter = -1, Random_state = Không)
Bạn có thể chơi với giá trị của đối số class_ weight có thể là từ điển trọng số lớp hoặc 'tự động'. Trong chế độ 'tự động', thuật toán học tập sẽ tự động gán trọng số cho từng lớp dựa trên số lượng mẫu trong mỗi lớp.
scikit-learn có một số thuật toán phân loại khác, một số thuật toán chấp nhận trọng số lớp.