PCA và rừng ngẫu nhiên

Đối với một cuộc thi Kaggle gần đây, tôi (thủ công) đã xác định 10 tính năng bổ sung cho tập huấn luyện của mình, sau đó sẽ được sử dụng để huấn luyện một trình phân loại rừng ngẫu nhiên. Tôi quyết định chạy PCA trên bộ dữ liệu với các tính năng mới, để xem chúng so sánh với nhau như thế nào. Tôi thấy rằng ~ 98% phương sai được thực hiện bởi thành phần đầu tiên (hàm riêng đầu tiên). Sau đó, tôi đã đào tạo trình phân loại nhiều lần, thêm một tính năng cùng một lúc và sử dụng xác thực chéo và lỗi RMS để so sánh chất lượng của phân loại. Tôi thấy rằng các phân loại được cải thiện với mỗi tính năng bổ sung và kết quả cuối cùng (với tất cả 10 tính năng mới) tốt hơn nhiều so với lần chạy đầu tiên với (tính năng) 2 tính năng.

• Cho rằng PCA tuyên bố ~ 98% phương sai là trong thành phần đầu tiên của bộ dữ liệu của tôi, tại sao chất lượng phân loại lại cải thiện nhiều như vậy?

• Điều này sẽ đúng với các phân loại khác? RF chia tỷ lệ trên nhiều lõi, do đó, việc đào tạo nhanh hơn nhiều so với (nói) SVM.

• Điều gì xảy ra nếu tôi đã chuyển đổi tập dữ liệu vào không gian "PCA" và chạy trình phân loại trên không gian được chuyển đổi. Kết quả của tôi sẽ thay đổi như thế nào?

Khi thực hiện mô hình dự đoán, bạn đang cố gắng giải thích sự thay đổi trong phản hồi, chứ không phải là sự thay đổi trong các tính năng. Không có lý do gì để tin rằng việc nhồi nhét càng nhiều biến thể tính năng vào một tính năng mới sẽ thu được một lượng lớn sức mạnh dự đoán của các tính năng nói chung.

Điều này thường được giải thích là sự khác biệt giữa hồi quy thành phần chính thay vì bình phương tối thiểu một phần.

Thành phần chính đầu tiên là sự kết hợp tuyến tính của tất cả các tính năng của bạn. Thực tế là nó giải thích gần như tất cả các biến thiên chỉ có nghĩa là hầu hết các hệ số của các biến trong thành phần chính đầu tiên đều có ý nghĩa.

Bây giờ các cây phân loại bạn tạo ra là một chút của một động vật khác nhau quá. Họ thực hiện phân tách nhị phân trên các biến liên tục để phân tách tốt nhất các danh mục bạn muốn phân loại. Điều đó không hoàn toàn giống như việc tìm các tổ hợp tuyến tính trực giao của các biến liên tục đưa ra hướng của phương sai lớn nhất. Trong thực tế, gần đây chúng tôi đã thảo luận một bài báo về CV trong đó PCA được sử dụng để phân tích cụm và tác giả nhận thấy rằng có những tình huống phân tách tốt nhất được tìm thấy không phải trong một vài thành phần chính đầu tiên mà là trong những thành phần cuối cùng.