Những thuật toán nào cần tính năng mở rộng, bên cạnh SVM?

Tôi đang làm việc với nhiều thuật toán: RandomForest, ReasonTrees, NaiveBayes, SVM (kernel = linear và rbf), KNN, LDA và XGBoost. Tất cả đều khá nhanh ngoại trừ SVM. Đó là khi tôi biết rằng nó cần tính năng mở rộng để hoạt động nhanh hơn. Sau đó, tôi bắt đầu tự hỏi liệu tôi có nên làm tương tự cho các thuật toán khác không.

Nói chung, các thuật toán khai thác khoảng cách hoặc điểm tương đồng (ví dụ ở dạng sản phẩm vô hướng) giữa các mẫu dữ liệu, chẳng hạn như k-NN và SVM, rất nhạy cảm với các phép biến đổi tính năng.

Các trình phân loại dựa trên mô hình đồ họa, chẳng hạn như Fisher LDA hoặc Naive Bayes, cũng như các cây quyết định và các phương pháp tập hợp dựa trên cây (RF, XGB) là bất biến đối với tính năng chia tỷ lệ, nhưng vẫn có thể là một ý tưởng tốt để sắp xếp lại / làm nổi bật dữ liệu của bạn .

Dưới đây là danh sách tôi tìm thấy trên http://www.dataschool.io/compared-supervised-learning-alerskyms/ cho biết trình phân loại nào cần tính năng mở rộng :

Bàn đầy đủ:

Trong phân cụm k-nghĩa là bạn cũng cần bình thường hóa đầu vào của mình .

Ngoài việc xem xét liệu trình phân loại khai thác khoảng cách hay điểm tương đồng như Yell Bond đã đề cập, Stochastic Gradient Descent cũng nhạy cảm với tính năng chia tỷ lệ (vì tốc độ học trong phương trình cập nhật của Stochastic Gradient Descent là giống nhau cho mọi tham số {1}):

---

Người giới thiệu:

• {1} Elkan, Charles. "Các mô hình log-linear và các trường ngẫu nhiên có điều kiện." Hướng dẫn ghi chú tại CIKM 8 (2008). https://scholar.google.com/scholar?cluster=5802800304608191219&hl=vi&as_sdt=0,22 ; https://pdfs.semanticscholar.org/b971/0868004ec688c4ca87aa1fec7ffb7a2d01d8.pdf

$$Y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + \epsilon_i$$ $i=1, \dots, n$ $$x_i^* = (x_i - \bar{x})/\text{sd}(x) \\ z_i^* = (z_i - \bar{z})/\text{sd}(z)$$ $$Y_i = \beta_0^* + \beta_1^* x_i^* + \beta_2^* z_i^* + \epsilon_i$$ Sau đó, các tham số được trang bị (betas) sẽ thay đổi, nhưng chúng thay đổi theo cách bạn có thể tính toán bằng đại số đơn giản từ chuyển đổi áp dụng. Vì vậy, nếu chúng ta gọi các betas ước tính từ mô hình bằng cách sử dụng các yếu tố dự đoán được chuyển đổi cho và biểu thị các betas từ mô hình chưa được dịch với , chúng ta có thể tính toán một tập hợp các betas từ người khác, biết các phương tiện và độ lệch chuẩn của các yếu tố dự đoán. Sự phân chia giữa các tham số được chuyển đổi và không được chuyển đổi giống như giữa các ước tính của chúng, khi dựa trên OLS. Một số đại số sẽ cho mối quan hệ như $\beta_{1,2}^*$$\hat{\beta}_{1,2}$ $$\beta_0=\beta_0^* - \frac{\beta_1^* \bar{x}}{\text{sd(x)}} -\frac{\beta_2^*\bar{z}}{\text{sd(z)}},\quad \beta_1 =\frac{\beta_1^*}{\text{sd(x)}},\quad \beta_2=\frac{\beta_2^*}{\text{sd(z)}}$$ Vì vậy, tiêu chuẩn hóa không phải là một phần cần thiết của mô hình hóa. (Nó vẫn có thể được thực hiện vì những lý do khác, mà chúng tôi không đề cập ở đây). Câu trả lời này cũng phụ thuộc vào chúng ta sử dụng bình phương tối thiểu thông thường. Đối với một số phương pháp phù hợp khác, chẳng hạn như sườn núi hoặc Lasso, tiêu chuẩn hóa là rất quan trọng, bởi vì chúng ta mất đi tính bất biến này mà chúng ta có với các ô vuông nhỏ nhất. Điều này rất dễ thấy: cả lasso và sườn đều thực hiện chính quy hóa dựa trên kích thước của betas, do đó, bất kỳ biến đổi nào làm thay đổi kích thước tương đối của betas sẽ thay đổi kết quả!

Và cuộc thảo luận này cho trường hợp hồi quy tuyến tính cho bạn biết những gì bạn nên chăm sóc trong các trường hợp khác: Có bất biến hay không? Nói chung, các phương pháp phụ thuộc vào các thước đo khoảng cách giữa các yếu tố dự đoán sẽ không hiển thị bất biến , vì vậy tiêu chuẩn hóa là rất quan trọng. Một ví dụ khác sẽ được phân cụm.