Rừng ngẫu nhiên vs Adaboost

Trong phần 7 của bài viết Rừng ngẫu nhiên (Breiman, 1999), tác giả nêu ra phỏng đoán sau: "Adaboost là một khu rừng ngẫu nhiên".

Có ai đã chứng minh, hoặc từ chối điều này? Điều gì đã được thực hiện để chứng minh hoặc từ chối bài đăng này 1999?

machine-learning random-forest boosting

— Alex
nguồn

Vui lòng đọc stats.stackexchange.com/questions/77018/ Từ Có lẽ bạn sẽ tìm thấy câu trả lời của mình ở đó

@ user75008 Cảm ơn! Vì vậy, phần 7 cung cấp một phỏng đoán khác, sao cho nếu được chứng minh, cho thấy adaboost tương đương với rừng ngẫu nhiên. Có ai cho thấy phỏng đoán này là đúng?

— Alex

@ user75008 Tôi đang đọc liên kết của bạn, stats.stackexchange.com/questions/77018/ , bạn có nghĩ rằng Adaboost không tương đương với Rừng ngẫu nhiên không?

— Alex

Câu hỏi thú vị. Một loạt các công việc giải thích ada boost thông qua một vài chiến thuật khác nhau đã được thực hiện kể từ đó.

Tôi đã thực hiện một tìm kiếm tài liệu nhanh chóng và bài báo hơi kỳ lạ này dường như là bài gần đây nhất về chủ đề này và cũng xem xét một loạt các tác phẩm can thiệp của Brieman và những người khác:

http://arxiv.org/pdf/1212.1108.pdf

Tôi không biết kết quả của họ có hợp lệ hay không nhưng họ tuyên bố đã không chứng minh được phỏng đoán của Brieman nhưng đã chứng minh một phiên bản yếu của nó khi cho rằng adaboost là biện pháp bảo tồn nhưng không nhất thiết phải là công thái.

Họ cũng đưa ra một số bằng chứng thực nghiệm rằng adaboost thực tế đôi khi quá phù hợp.

Tôi nghĩ điều đó cho thấy adaboost có thể liên quan đến một khu rừng ngẫu nhiên nhưng không hoàn toàn (hoặc không phải luôn luôn) tương đương theo cách mà Brieman phỏng đoán?

— Ryan Bressler
nguồn

cảm ơn, vì vậy tôi đoán đây vẫn là một câu hỏi mở, nhưng câu nói cuối cùng của bạn là nói.

— Alex

Vâng tôi nghĩ rằng nó vẫn còn mở. Tôi cũng nghĩ rằng sự quan tâm đã giảm xuống khi phân tích AdaBoost khi máy tăng cường độ dốc [stochastic] đã trở nên phổ biến hơn. AdaBoost là một hình thức giảm độ dốc ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) và suy nghĩ về mặt giảm dần ngẫu nhiên rõ ràng có thể trực quan hơn và thực tế hơn thì đề xuất Brieman tương đương. (Tức là ngay cả khi đó là sự thật, có thể rất khó lấy mẫu từ phân phối cần thiết trong thực tế.)

— Ryan Bressler

Tôi vừa thấy bài báo mới này về chủ đề: arxiv.org/pdf/1504.07676v1.pdf

— Ryan Bressler

Rất thú vị nếu đúng! "Chúng tôi kết luận rằng việc tăng cường nên được sử dụng như những khu rừng ngẫu nhiên: với những cây quyết định lớn và không có sự chính quy hóa trực tiếp hoặc dừng lại sớm."

— Alex