Năm phân loại hàng đầu để thử đầu tiên

Bên cạnh các đặc điểm phân loại rõ ràng như

• chi phí tính toán,
• loại dữ liệu dự kiến ​​của các tính năng / nhãn và
• sự phù hợp cho kích thước và kích thước nhất định của tập dữ liệu,

Năm phân loại (hoặc 10, 20?) hàng đầu để thử đầu tiên trên tập dữ liệu mới mà người ta chưa biết nhiều về (ví dụ như ngữ nghĩa và tương quan của các tính năng riêng lẻ) là gì? Thông thường tôi thử Naive Bayes, Hàng xóm gần nhất, Cây quyết định và SVM - mặc dù tôi không có lý do chính đáng nào cho lựa chọn này ngoài việc tôi biết chúng và chủ yếu hiểu cách chúng hoạt động.

Tôi đoán người ta nên chọn các phân loại bao gồm các cách tiếp cận phân loại chung quan trọng nhất . Lựa chọn nào bạn muốn giới thiệu, theo tiêu chí đó hoặc vì lý do nào khác?

CẬP NHẬT: Một công thức thay thế cho câu hỏi này có thể là: "Phương pháp chung nào để phân loại tồn tại và phương pháp cụ thể nào bao gồm những phương pháp quan trọng nhất / phổ biến / có triển vọng?"

Rừng ngẫu nhiên

Nhanh chóng, mạnh mẽ, độ chính xác tốt, trong hầu hết các trường hợp không có gì để điều chỉnh, không yêu cầu chuẩn hóa, miễn nhiễm với cộng tuyến, tạo ra xấp xỉ lỗi khá tốt và xếp hạng tầm quan trọng hữu ích như một tác dụng phụ của đào tạo, song song tầm thường, dự đoán trong nháy mắt.

Nhược điểm: chậm hơn các phương pháp tầm thường như kNN hoặc NB, hoạt động tốt nhất với các lớp bằng nhau, độ chính xác kém hơn so với SVM đối với các vấn đề đòi hỏi thủ thuật kernel, là hộp đen cứng, không pha cà phê.

Trình phân loại quy trình Gaussian (không sử dụng xấp xỉ Laplace), tốt nhất là với lề thay vì tối ưu hóa các siêu tham số. Tại sao?

1. bởi vì họ đưa ra một phân loại xác suất
2. bạn có thể sử dụng hàm kernel cho phép bạn thao tác trực tiếp trên dữ liệu phi véc tơ và / hoặc kết hợp kiến ​​thức chuyên môn
3. họ đối phó với sự không chắc chắn trong việc điều chỉnh mô hình đúng cách và bạn có thể tuyên truyền sự không chắc chắn đó thông qua quá trình ra quyết định
4. nói chung hiệu suất dự đoán rất tốt.

Nhược điểm

1. chậm
2. đòi hỏi nhiều bộ nhớ
3. không thực tế cho các vấn đề quy mô lớn.

Sự lựa chọn đầu tiên mặc dù sẽ là hồi quy logistic thường xuyên hoặc hồi quy sườn [không có lựa chọn tính năng] - đối với hầu hết các vấn đề, thuật toán rất đơn giản hoạt động khá tốt và khó bị sai hơn (trong thực tế, sự khác biệt về hiệu suất giữa các thuật toán nhỏ hơn sự khác biệt về hiệu suất giữa các nhà điều hành lái xe họ).

Bản thân tôi khi bạn đang tiếp cận một tập dữ liệu mới, bạn nên bắt đầu xem toàn bộ vấn đề. Trước hết, có được một phân phối cho các tính năng phân loại và độ lệch trung bình và tiêu chuẩn cho từng tính năng liên tục. Sau đó:

• Xóa các tính năng có nhiều hơn X% giá trị bị thiếu;
• Xóa các tính năng phân loại khi một giá trị cụ thể nhận được hơn 90-95% tần số tương đối;
• Xóa các tính năng liên tục với CV = std / mean <0,1;
• Lấy thứ hạng tham số, ví dụ ANOVA cho liên tục và bình phương cho phân loại;
• Nhận một tập hợp con đáng kể của các tính năng;

Sau đó tôi thường chia các kỹ thuật phân loại thành 2 bộ: kỹ thuật hộp trắng và hộp đen. Nếu bạn cần biết 'cách phân loại hoạt động', bạn nên chọn trong tập đầu tiên, ví dụ: Phân loại dựa trên cây quyết định hoặc quy tắc.

Nếu bạn cần phân loại các bản ghi mới mà không xây dựng một mô hình thì nên xem qua người học háo hức, ví dụ KNN.

Sau đó tôi nghĩ tốt hơn là có một ngưỡng giữa độ chính xác và tốc độ: Mạng thần kinh chậm hơn một chút so với SVM.

Đây là năm kỹ thuật phân loại hàng đầu của tôi:

1. Cây quyết định;
2. Phân loại dựa trên quy tắc;
3. SMO (SVM);
4. Vịnh Naive;
5. Mạng lưới thần kinh.