Trong những điều kiện nào làm máy tăng cường độ dốc vượt trội so với rừng ngẫu nhiên?

Máy tăng cường độ dốc của Friedman có thể đạt được hiệu suất tốt hơn Rừng ngẫu nhiên của Breiman không? Nếu vậy, trong điều kiện hoặc loại dữ liệu nào có thể làm cho gbm tốt hơn?

— người dùng 22062
nguồn

Không có cách nào để nói một tiên nghiệm; bạn phải thử nó

— bayerj

tốt, trong thực tế, Boosting hầu như luôn vượt trội hơn RF ... Mặc dù tôi không thực sự biết chính xác tại sao, cá nhân tôi đã không gặp phải bất kỳ trường hợp nào mà RF vượt trội hơn Boosting.

— Antoine

@Antoine học với dữ liệu không được gắn nhãn và / hoặc nhiễu nhãn là một trường hợp sử dụng đặc biệt khủng khiếp để tăng cường.

— Marc Claesen

Chà, RF và Boosting chủ yếu được sử dụng cho các nhiệm vụ học tập có giám sát, ngay cả khi đôi khi đúng là RF có thể được sử dụng để phân cụm. Adaboost không mạnh mẽ để dán nhãn sai vì chức năng mất theo cấp số nhân bị ảnh hưởng nhiều bởi nhiễu, nhưng Stochastic Gradient Boosting trong trường hợp chung (ví dụ với độ lệch đa cực) mạnh hơn.

— Antoine

@MarcClaesen bạn có thể xem câu hỏi này không?

— Antoine

Câu trả lời:

Phần sau đây cung cấp một lời giải thích về lý do tại sao Boosting thường vượt trội so với Random Forest trong thực tế, nhưng tôi sẽ rất quan tâm để biết những yếu tố khác nhau nào có thể giải thích cạnh của Boosting trên RF trong các cài đặt cụ thể.

$error=bias+variance$

Mặt khác, Boosting làm giảm độ lệch (bằng cách thêm từng cây mới trong chuỗi sao cho những gì bị mất bởi cây trước đó bị bắt), nhưng cũng có phương sai (bằng cách kết hợp nhiều mô hình).

Vì vậy, Boosting giảm lỗi trên cả hai mặt trận, trong khi RF chỉ có thể giảm lỗi thông qua việc giảm phương sai. Tất nhiên, như tôi đã nói, có thể có những lời giải thích khác cho hiệu suất tốt hơn của Boosting được quan sát trong thực tế. Ví dụ, trang 591 của cuốn sách nói trên, người ta nói rằng Boosting vượt trội hơn RF về vấn đề hình cầu lồng nhau bởi vì trong trường hợp cụ thể đó, ranh giới quyết định thực sự là phụ gia . (?) Họ cũng báo cáo rằng Boosting làm tốt hơn RF đối với thư rác và dữ liệu nhà ở California.

Một tài liệu tham khảo khác cho thấy Boosting vượt trội hơn RF là Caruana và Niculescu-Mizil 2006 . Thật không may, họ báo cáo kết quả nhưng không cố gắng giải thích nguyên nhân gây ra chúng. Họ đã so sánh hai phân loại (và nhiều hơn nữa) về 11 vấn đề phân loại nhị phân cho 8 số liệu hiệu suất khác nhau.

— Antoine
nguồn

Như bayerj đã nói, không có cách nào để biết một tiên nghiệm!

Rừng ngẫu nhiên tương đối dễ hiệu chỉnh: các tham số mặc định của hầu hết các triển khai (R hoặc Python, mỗi ví dụ) đạt được kết quả tuyệt vời.

Mặt khác, GBM rất khó điều chỉnh (số lượng cây quá lớn dẫn đến quá mức, độ sâu tối đa là rất quan trọng, tốc độ học tập và số lượng cây hoạt động cùng nhau ...) và lâu hơn để đào tạo (việc triển khai đa luồng là khan hiếm) . Một điều chỉnh được thực hiện lỏng lẻo có thể dẫn đến hiệu suất thấp.

Tuy nhiên, từ kinh nghiệm của tôi, nếu bạn dành đủ thời gian cho GBM, bạn có khả năng đạt được hiệu suất tốt hơn so với rừng ngẫu nhiên.

$m$

— RUser4512
nguồn

A loosely performed tuning may lead to dramatic performance?Coi chừng giải thích sai, bởi vì trong tiếng Anh dramaticcó nghĩa là rất tốt, đặc biệt, phi thường, vv! Tôi đoán đó là điều trái ngược với những gì bạn muốn nói ... Ngoài ra, bạn có lời giải thích nào về lý do tại sao các GBM được điều chỉnh cẩn thận vượt trội hơn RF không? Về cơ bản đây là câu hỏi ...

— Antoine