Định nghĩa độ phức tạp của cây trong xgboost

Nghiên cứu về thuật toán xgboost tôi đã xem qua tài liệu này .

Trong cách tiếp cận này, cây được chuẩn hóa bằng định nghĩa độ phức tạp trong đó và là các tham số, là số lá cuối cùng và là điểm số trong mỗi lá.

Tôi tự hỏi: làm thế nào để xác định sự phức tạp? , số lượng các nút thiết bị đầu cuối, dường như tự nhiên đối với tôi. Nhưng tổng điểm cuối bình phương?$T$

Có lẽ quá mức là có nghĩa. Có nghĩa là điểm số rất lớn cho quá nhiều sự tự tin? Được chọn để có được một người học yếu? Một lời giải thích tự nhiên cho sự lựa chọn này của hàm phức tạp là gì?

Điều này có ý nghĩa với tôi.

Tôi sẽ tập trung vào trường hợp Gaussian. Ở đây, mỗi cây phù hợp với phần dư của mô hình hiện tại và bản cập nhật mô hình là . Ý tưởng của bộ tăng cường độ dốc là giảm cẩn thận và từ từ độ lệch của mô hình bằng cách thêm từng cây một.$T_i$$M_{i+1} = M_{i} + \alpha T_i$

Trong trường hợp này, giá trị lớn của sẽ tương ứng với nút thiết bị đầu cuối (lá) cung cấp một bản cập nhật rất lớn và quan trọng cho mô hình trước đó. Ý tưởng của thuật ngữ chính quy là để giảm thiểu các sự cố này của các cập nhật cây đơn lớn (chỉ cho phép chúng nếu mức giảm của hàm mất mô hình đủ lớn để bù cho hình phạt chính quy). Nếu một bản cập nhật như vậy được thường xuyên hóa cho một cây, nhưng hóa ra là hợp lý, nó sẽ được đưa vào trong nhiều bản cập nhật mô hình, theo triết lý tăng cường.$w_i$

Đây là tương tự rất gần với hồi quy sườn núi.