Giải thích về min_child_ weight trong thuật toán xgboost

Các định nghĩa của tham số min_child_weight trong xgboost được đưa ra như:

tổng trọng lượng tối thiểu (hessian) cần thiết ở trẻ. Nếu bước phân vùng cây dẫn đến một nút lá có tổng trọng số thể hiện nhỏ hơn min_child_ weight, thì quá trình xây dựng sẽ từ bỏ phân vùng tiếp theo. Trong chế độ hồi quy tuyến tính, điều này chỉ đơn giản tương ứng với số lượng phiên bản tối thiểu cần có trong mỗi nút. Càng lớn, thuật toán sẽ càng bảo thủ.

Tôi đã đọc khá nhiều điều trên xgboost bao gồm cả bài báo gốc (xem công thức 8 và một công thức chỉ sau phương trình 9), câu hỏi này và hầu hết những điều cần làm với xgboost xuất hiện trên một vài trang đầu tiên của tìm kiếm google. ;)

Về cơ bản tôi vẫn không hài lòng về lý do tại sao chúng ta đang áp đặt một ràng buộc đối với tổng của hessian? Suy nghĩ duy nhất của tôi tại phút từ bài báo gốc là nó liên quan đến phần phác họa lượng tử có trọng số (và sự cải tổ theo phương trình 3 mất bình phương có trọng số) có là 'trọng số' của mỗi trường hợp.$h_i$

Một câu hỏi nữa liên quan đến lý do tại sao nó chỉ đơn giản là số lượng phiên bản trong chế độ hồi quy tuyến tính? Tôi đoán điều này có liên quan đến đạo hàm thứ hai của tổng phương trình bình phương?

Đối với hồi quy, mất từng điểm trong một nút là

$\frac{1}{2}(y_i - \hat{y_i})^2$

$\hat{y_i}$$1$

Đối với hồi quy logistic nhị phân, hessian cho mỗi điểm trong một nút sẽ chứa các thuật ngữ như

$\sigma(\hat{y_i})(1 - \sigma(\hat{y_i}))$

$\sigma$$\hat{y_i}$$\sigma(\hat{y_i})$

Hessian là một thứ lành mạnh để sử dụng cho việc thường xuyên hóa và hạn chế độ sâu của cây. Đối với hồi quy, thật dễ dàng để xem bạn có thể vượt mức như thế nào nếu bạn luôn chia nhỏ các nút với, chỉ cần 1 quan sát. Tương tự, để phân loại, thật dễ dàng để xem bạn có thể vượt mức như thế nào nếu bạn khăng khăng tách cho đến khi mỗi nút hoàn toàn.