Những thuật toán đóng bao nào là thành công xứng đáng cho Random Forest?

Để thúc đẩy các thuật toán, tôi sẽ nói rằng chúng phát triển khá tốt. Đầu năm 1995 AdaBoost đã được giới thiệu, sau một thời gian, nó là Máy tăng tốc Gradient (GBM). Gần đây, khoảng năm 2015 XGBoost đã được giới thiệu, chính xác, xử lý quá mức và đã trở thành người chiến thắng trong nhiều cuộc thi Kaggle. Năm 2017 LightGBM được Microsoft giới thiệu, nó cung cấp thời gian đào tạo thấp hơn đáng kể so với XGBoost. Ngoài ra, CatBoost được Yandex giới thiệu để xử lý các tính năng phân loại.

Random Forest được giới thiệu vào đầu những năm 2000, nhưng đã có người kế vị xứng đáng nào cho nó chưa? Tôi nghĩ rằng nếu một thuật toán đóng bao tốt hơn so với Random Forest tồn tại (có thể dễ dàng áp dụng trong thực tế) thì nó sẽ gây được sự chú ý ở những nơi như Kaggle. Ngoài ra, tại sao việc tăng tốc trở thành kỹ thuật hòa tấu phổ biến hơn, có phải vì bạn có thể xây dựng ít cây hơn để dự đoán tối ưu?

random-forest boosting bagging

— Marius
nguồn

adaBoost thực sự được giới thiệu vào năm 1995, nhưng đó là một điểm nhỏ không làm thay đổi luận điểm cơ bản của bạn.

— jbowman

Vì các khu rừng ngẫu nhiên, chúng tôi cũng đã thấy sự ra đời của những cây cực kỳ ngẫu nhiên , mặc dù tôi không thực sự biết bất kỳ bằng chứng tốt nào cho thấy những khu rừng này vượt trội so với bất kỳ sự nhất quán nào, vì vậy chúng có thể không phải là người kế thừa "xứng đáng" ...

— Jake Westfall

BART ( arxiv.org/abs/0806.3286 ) là một mô hình Bayes phát triển từ một cây Bayesian GIỎI và được lấy cảm hứng từ các phương pháp hòa tấu cổ điển. Thật đáng để khám phá.

— Zen

thúc đẩy trở nên phổ biến hơn vì nó xử lý nhiều vấn đề thành công với các kỹ thuật của người học yếu

— Refael

Rừng tham lam thường xuyên có thể đáng được đề cập (chậm nhưng một số kết quả tốt) và rừng ngẫu nhiên định lượng cho tác dụng phụ mát mẻ của chúng.

— Michael M

xgboost, catboost và lightgbm sử dụng một số tính năng của rừng ngẫu nhiên (lấy mẫu ngẫu nhiên các biến / quan sát), vì vậy tôi nghĩ rằng chúng là sự kế thừa của việc tăng cường và RF cùng nhau và tận dụng những điều tốt nhất từ cả hai. ;)

— PhilippPro
nguồn