Là rừng ngẫu nhiên và tăng cường tham số hay không tham số?

Bằng cách đọc mô hình thống kê xuất sắc : Hai nền văn hóa (Breiman 2001) , chúng ta có thể nắm bắt được tất cả sự khác biệt giữa các mô hình thống kê truyền thống (ví dụ: hồi quy tuyến tính) và thuật toán học máy (ví dụ: Bagging, Random Forest, Boosted cây ...).

Breiman chỉ trích các mô hình dữ liệu (tham số) bởi vì chúng dựa trên giả định rằng các quan sát được tạo ra bởi một mô hình chính thức đã biết, được quy định bởi nhà thống kê, có thể mô phỏng kém về Tự nhiên. Mặt khác, đại số ML không giả định bất kỳ mô hình chính thức nào và trực tiếp tìm hiểu mối liên hệ giữa các biến đầu vào và đầu ra từ dữ liệu.

Tôi nhận ra rằng Bagging / RF và Boosting, cũng là một loại tham số: ví dụ, ntree , mtry trong RF, tốc độ học tập , phân số túi , độ phức tạp của cây trong Stochastic Gradient Boosted đều là các tham số điều chỉnh . Chúng tôi cũng sắp xếp ước tính các tham số này từ dữ liệu vì chúng tôi đang sử dụng dữ liệu để tìm giá trị tối ưu của các tham số này.

Vậy sự khác biệt là gì? Là mô hình tham số RF và Boosted cây?

Các mô hình tham số có các tham số (suy ra chúng) hoặc các giả định về phân phối dữ liệu, trong khi RF, mạng lưới thần kinh hoặc cây tăng có các tham số liên quan đến chính thuật toán, nhưng chúng không cần các giả định về phân phối dữ liệu của bạn hoặc phân loại dữ liệu của bạn thành phân phối lý thuyết . Trong thực tế hầu hết tất cả các thuật toán đều có các tham số như lặp hoặc giá trị lề liên quan đến tối ưu hóa.

Tôi nghĩ tiêu chí cho tham số và không tham số là thế này: liệu số lượng tham số có tăng theo số lượng mẫu đào tạo hay không. Đối với hồi quy logistic và svm, khi bạn chọn các tính năng, bạn sẽ không nhận được nhiều tham số hơn bằng cách thêm nhiều dữ liệu đào tạo. Nhưng đối với RF và như vậy, các chi tiết của mô hình sẽ thay đổi (như độ sâu của cây) mặc dù số lượng cây không thay đổi.

Theo nghĩa thống kê, mô hình là tham số, nếu các tham số được học hoặc suy ra dựa trên dữ liệu. Một cây theo nghĩa này là không đối xứng. Tất nhiên độ sâu của cây là một tham số của thuật toán, nhưng nó không bắt nguồn từ dữ liệu, mà là một tham số đầu vào phải được cung cấp bởi người dùng.