Cây tăng cường độ dốc XGBoost vs Python Sklearn

Tôi đang cố gắng để hiểu XGBoost hoạt động như thế nào. Tôi đã hiểu cách cây tăng cường độ dốc hoạt động trên Python sklearn. Điều không rõ ràng với tôi là nếu XGBoost hoạt động theo cùng một cách, nhưng nhanh hơn hoặc nếu có sự khác biệt cơ bản giữa nó và việc thực hiện python.

Khi tôi đọc bài báo này

http://learningsys.org/ con / LearningSys_2015_apers_32.pdf

Đối với tôi có vẻ như kết quả cuối cùng của XGboost giống như trong triển khai Python, tuy nhiên sự khác biệt chính là cách XGboost tìm ra sự phân chia tốt nhất để thực hiện trong mỗi cây hồi quy.

Về cơ bản, XGBoost cho kết quả tương tự, nhưng nó nhanh hơn.

Điều này có đúng không, hay còn thiếu điều gì khác không?

Bạn đã đúng, XGBoost ('eXtreme Gradient Boosting') và GradientBoost của sklearn về cơ bản giống nhau vì cả hai đều là các triển khai tăng cường độ dốc.

Tuy nhiên, có sự khác biệt rất đáng kể dưới mui xe trong một ý nghĩa thực tế. XGBoost nhanh hơn rất nhiều (xem http://machinelearningmastery.com/gentle-intributiontion-xgboost-applied-machine-learning/ ) so với sklearn. XGBoost khá hiệu quả về bộ nhớ và có thể song song (tôi nghĩ mặc định sklearn không thể làm như vậy, tôi không biết chính xác về hiệu quả bộ nhớ của sklearn nhưng tôi khá tự tin rằng nó nằm dưới XGBoost).

Đã sử dụng cả hai, tốc độ của XGBoost khá ấn tượng và hiệu suất của nó vượt trội so với GradientBoosting của sklearn.

Không giống như tăng cường độ dốc của Sklearn, Xgboost cũng thường xuyên hóa cây để tránh bị quá mức và nó cũng xử lý các giá trị bị thiếu một cách hiệu quả. Liên kết sau có thể hữu ích để tìm hiểu chính xác xgboost https://www.youtube.com/watch?v=Vly8xGnNiWs

XGboost đang triển khai GBDT với randmization (Nó sử dụng lấy mẫu coloumn và lấy mẫu hàng). Có thể lấy mẫu bằng cách không sử dụng tất cả dữ liệu đào tạo cho từng mô hình cơ sở của GBDT. Thay vì sử dụng tất cả dữ liệu huấn luyện cho từng mô hình cơ sở, chúng tôi lấy mẫu một tập hợp con của các hàng và chỉ sử dụng các hàng dữ liệu đó để xây dựng từng mô hình cơ sở. Điều này đảm bảo rằng có ít khả năng bị quá mức, đây là một vấn đề lớn với GBDT đơn giản mà XGBoost cố gắng giải quyết bằng cách sử dụng ngẫu nhiên này.