Gradient Boosting Tree vs Random Forest

Tăng cường cây dốc theo đề xuất của Friedman sử dụng cây quyết định làm người học cơ sở. Tôi đang tự hỏi liệu chúng ta nên làm cho cây quyết định cơ sở phức tạp nhất có thể (phát triển đầy đủ) hay đơn giản hơn? Có bất kỳ lời giải thích cho sự lựa chọn?

Rừng ngẫu nhiên là một phương pháp tập hợp khác sử dụng cây quyết định làm người học cơ sở. Dựa trên sự hiểu biết của tôi, chúng ta thường sử dụng các cây quyết định gần như phát triển đầy đủ trong mỗi lần lặp. Tôi có đúng không

$\text{error = bias + variance}$

• Tăng cường dựa trên những người học yếu (độ lệch cao, phương sai thấp). Về mặt cây quyết định, người học yếu là cây nông, đôi khi còn nhỏ như gốc cây quyết định (cây có hai lá). Tăng cường giảm lỗi chủ yếu bằng cách giảm sai lệch (và cũng ở một mức độ sai lệch nào đó, bằng cách tổng hợp đầu ra từ nhiều mô hình).
• Mặt khác, Rừng ngẫu nhiên sử dụng như bạn đã nói cây quyết định được trồng hoàn toàn (độ lệch thấp, phương sai cao). Nó xử lý tác vụ giảm lỗi theo cách ngược lại: bằng cách giảm phương sai. Các cây được tạo ra không tương thích để tối đa hóa việc giảm phương sai, nhưng thuật toán không thể làm giảm độ lệch (cao hơn một chút so với độ lệch của một cây riêng lẻ trong rừng). Do đó, cần có những cây lớn, không có cây, do đó độ lệch ban đầu càng thấp càng tốt.

Xin lưu ý rằng không giống như Boosting (là tuần tự), RF phát triển cây song song . Thuật ngữ iterativemà bạn sử dụng là không phù hợp.

Câu hỏi này được giải quyết trong bài viết rất tốt đẹp này. Xin hãy xem nó và các tài liệu tham khảo trong đó. http://fastml.com/what-is-better-gradient-boosted-trees-or-random-forest/

Lưu ý trong bài viết rằng nói về hiệu chuẩn, và liên kết đến một bài đăng blog (tốt đẹp) khác về nó. Tuy nhiên, tôi thấy rằng bài báo Lấy Xác suất Hiệu chuẩn từ Tăng tốc giúp bạn hiểu rõ hơn về hiệu chuẩn trong bối cảnh của các trình phân loại được tăng cường là gì và phương pháp chuẩn để thực hiện nó là gì.

Và cuối cùng là thiếu một khía cạnh (lý thuyết hơn một chút). Cả RF và GBM đều là các phương thức đồng bộ, nghĩa là bạn xây dựng một trình phân loại ra một số lượng lớn các phân loại nhỏ hơn. Bây giờ sự khác biệt cơ bản nằm ở phương pháp được sử dụng:

1. RF sử dụng cây quyết định, rất dễ bị quá mức. Để đạt được độ chính xác cao hơn, RF quyết định tạo ra một số lượng lớn trong số chúng dựa trên việc đóng bao . Ý tưởng cơ bản là lấy mẫu lại dữ liệu nhiều lần và cho mỗi mẫu đào tạo một bộ phân loại mới. Các phân loại khác nhau vượt quá dữ liệu theo một cách khác và thông qua bỏ phiếu những khác biệt đó được tính trung bình.
2. GBM là một phương pháp thúc đẩy, dựa trên các phân loại yếu . Ý tưởng là thêm một bộ phân loại tại một thời điểm, để bộ phân loại tiếp theo được đào tạo để cải thiện bộ đồng phục đã được đào tạo. Lưu ý rằng đối với RF, mỗi lần lặp, bộ phân loại được đào tạo độc lập với phần còn lại.