Nói rằng chúng tôi có một vấn đề phân loại nhị phân với các tính năng chủ yếu là phân loại. Chúng tôi sử dụng một số mô hình phi tuyến tính (ví dụ XGBoost hoặc Random Forests) để tìm hiểu nó.
Câu trả lời:
Đa cộng tuyến sẽ không là vấn đề đối với một số mô hình nhất định. Chẳng hạn như rừng ngẫu nhiên hoặc cây quyết định. Ví dụ: nếu chúng ta có hai cột giống nhau, cây quyết định / rừng ngẫu nhiên sẽ tự động "thả" một cột ở mỗi lần phân tách. Và mô hình vẫn sẽ hoạt động tốt.
Ngoài ra, chính quy là một cách để "khắc phục" vấn đề Đa cộng tuyến. Câu trả lời của tôi Phương pháp chính quy cho hồi quy logistic cung cấp chi tiết.
Đến bữa tiệc muộn, nhưng dù sao đây cũng là câu trả lời của tôi và đó là "Có", người ta phải luôn quan tâm đến sự cộng tác, bất kể mô hình / phương pháp có tuyến tính hay không, hoặc nhiệm vụ chính là dự đoán hoặc phân loại.
Giả sử một số phép toán / tính năng tương quan tuyến tính có trong tập dữ liệu và Rừng ngẫu nhiên làm phương thức. Rõ ràng, lựa chọn ngẫu nhiên trên mỗi nút chỉ có thể chọn (hoặc hầu hết) các tính năng cộng tuyến có thể / sẽ dẫn đến sự phân chia kém và điều này có thể xảy ra lặp đi lặp lại, do đó ảnh hưởng tiêu cực đến hiệu suất.
Bây giờ, các tính năng cộng tuyến có thể ít thông tin về kết quả hơn các tính năng khác (không phải thông đồng) và do đó chúng nên được xem xét để loại bỏ khỏi bộ tính năng. Tuy nhiên, giả sử rằng các tính năng được xếp hạng cao trong danh sách 'tầm quan trọng của tính năng' do RF sản xuất. Vì vậy, chúng sẽ được giữ trong tập dữ liệu làm tăng kích thước một cách không cần thiết. Vì vậy, trong thực tế, tôi luôn luôn, như một bước khám phá (trong số nhiều liên quan) kiểm tra sự liên kết theo cặp của các tính năng, bao gồm cả tương quan tuyến tính.
Nếu mô hình phi tuyến tính là mô hình dựa trên cây, thì bạn không nên xem xét nó nghiêm trọng. Mô hình cây khác nhau sẽ có phương thức xử lý khác nhau, chẳng hạn như rừng ngẫu nhiên sẽ giữ cả hai (vì chúng xây dựng cây độc lập và chọn ngẫu nhiên tính năng cho mỗi cây), nhưng nó không ảnh hưởng đến hiệu suất dự đoán, ngay cả khi bạn loại bỏ dư thừa một. Nhưng đối với xgboost, nó sẽ chọn bất kỳ ai trong số họ và sử dụng nó cho đến khi xây dựng cây cuối cùng.
Nó chỉ là về ý nghĩa giải thích, vì vậy loại bỏ các biến tương quan cao được đề xuất.
Đa cộng tuyến luôn là một vấn đề có thể xảy ra. Các biến là các yếu tố dự đoán trong mô hình sẽ ảnh hưởng đến dự đoán khi chúng có liên quan tuyến tính (nghĩa là khi có cộng tuyến).