Câu hỏi được gắn thẻ «xgboost»

Tôi có một dữ liệu mất cân bằng lớp và tôi muốn điều chỉnh các siêu đường kính của tress được tăng cường bằng xgboost. Câu hỏi Có tương đương với gridsearchcv hoặc randomsearchcv cho xgboost không? Nếu không, cách tiếp cận được đề xuất để điều chỉnh các tham …

68 machine-learning  cross-validation  xgboost  boosting 

Có tồn tại một số triển khai của họ mô hình GBDT, chẳng hạn như: GBM XGBoost LightGBM Catboost. Sự khác biệt toán học giữa các triển khai khác nhau là gì? Catboost dường như vượt trội so với các triển khai khác ngay cả khi chỉ sử dụng các …

33 boosting  xgboost 

Ví dụ: lấy hàm mục tiêu của mô hình XGBoost trên lần lặp thứ :ttt L( t )= ∑i = 1nℓ ( ytôi, y^( t - 1 )tôi+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) Trong đó là hàm mất, là đầu ra của cây và là chính quy. Một trong những bước chính (nhiều) để tính …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Tôi có một bộ dữ liệu rất mất cân bằng. Tôi đang cố gắng làm theo lời khuyên điều chỉnh và sử dụng scale_pos_weightnhưng không chắc tôi nên điều chỉnh nó như thế nào. Tôi có thể thấy điều RegLossObj.GetGradientđó: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight do đó, một …

26 unbalanced-classes  xgboost 

Các định nghĩa của tham số min_child_weight trong xgboost được đưa ra như: tổng trọng lượng tối thiểu (hessian) cần thiết ở trẻ. Nếu bước phân vùng cây dẫn đến một nút lá có tổng trọng số thể hiện nhỏ hơn min_child_ weight, thì quá trình xây dựng sẽ từ …

23 machine-learning  xgboost  hessian 

Tôi đang cố gắng để hiểu XGBoost hoạt động như thế nào. Tôi đã hiểu cách cây tăng cường độ dốc hoạt động trên Python sklearn. Điều không rõ ràng với tôi là nếu XGBoost hoạt động theo cùng một cách, nhưng nhanh hơn hoặc nếu có sự khác biệt …

20 scikit-learn  boosting  gbm  xgboost 

Tôi đang làm việc với nhiều thuật toán: RandomForest, ReasonTrees, NaiveBayes, SVM (kernel = linear và rbf), KNN, LDA và XGBoost. Tất cả đều khá nhanh ngoại trừ SVM. Đó là khi tôi biết rằng nó cần tính năng mở rộng để hoạt động nhanh hơn. Sau đó, tôi bắt …

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Có rất nhiều bài đăng trên blog, video trên YouTube, v.v. về ý tưởng đóng bao hoặc tăng cường cây xanh. Hiểu biết chung của tôi là mã giả cho mỗi loại là: Đóng bao: Lấy N mẫu ngẫu nhiên là x% số mẫu và y% của các tính năng …

16 cart  boosting  xgboost  bagging 

Nói rằng chúng tôi có một vấn đề phân loại nhị phân với các tính năng chủ yếu là phân loại. Chúng tôi sử dụng một số mô hình phi tuyến tính (ví dụ XGBoost hoặc Random Forests) để tìm hiểu nó. Người ta vẫn nên quan tâm đến đa …

13 classification  random-forest  multicollinearity  xgboost 

Gần đây tôi đã xem xét thuật toán XGBoost và tôi đã nhận thấy rằng thuật toán này có thể xử lý dữ liệu bị thiếu (mà không yêu cầu phải cắt bỏ) trong giai đoạn đào tạo. Tôi đã tự hỏi nếu XGboost có thể xử lý dữ liệu …

11 machine-learning  missing-data  data-imputation  xgboost 

Tôi đã cố gắng tìm hiểu việc tăng cường độ dốc khi đọc các blog, trang web khác nhau và cố gắng tìm câu trả lời của mình bằng cách xem qua ví dụ mã nguồn XGBoost. Tuy nhiên, tôi dường như không thể tìm thấy một lời giải thích …

11 machine-learning  classification  boosting  ensemble  xgboost 

Tôi biết cách triển khai chức năng mục tiêu tuyến tính và tăng tuyến tính trong XGBoost. Câu hỏi cụ thể của tôi là: khi thuật toán phù hợp với phần dư (hoặc độ dốc âm) là nó sử dụng một tính năng ở mỗi bước (tức là mô hình …

9 regression  machine-learning  boosting  xgboost 

Tôi không thể hiểu đầy đủ cách thức tham số này hoạt động từ mô tả trong tài liệu [max_delta_step [default = 0]] Bước delta tối đa chúng tôi cho phép ước tính trọng lượng của mỗi cây. Nếu giá trị được đặt thành 0, điều đó có nghĩa là …

9 xgboost 

Các chuyên gia! Có lẽ, bạn biết cách tính khoảng tin cậy cho xgboost? Công thức cổ điển với phân phối t không thể giúp đỡ, vì dữ liệu của tôi thường không được phân phối. Hay không quan trọng? Nếu bạn sẽ đề xuất một số tài liệu, nó …

8 confidence-interval  xgboost 

Tôi đã cố gắng mô hình hóa một biến phụ thuộc đếm với độ phơi sáng không đồng đều. Các glms cổ điển sẽ sử dụng log (phơi sáng) làm offset, cũng như gbm, nhưng xgboost không cho phép offset cho đến bây giờ ... Cố gắng tìm một nhược …

8 r  caret  poisson-regression  offset  xgboost