Cần giúp đỡ để hiểu đề xuất chia điểm gần đúng của xgboost

12

lý lịch:

trong xgboost , lần lặp cố gắng khớp một cây trên tất cả ví dụ nhằm giảm thiểu mục tiêu sau: $t$ $f_t$ $n$

\sum_{i = 1}^{n} [g_{i} f_{t} (x_{i}) + \frac{1}{2} h_{i} f_{t}^{2} (x_{i})]

$\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)]$

nơi là thứ tự đầu tiên và các dẫn xuất tự thứ hai qua trước chúng tôi ước lượng tốt nhất (từ lặp ): $g_i, h_i$ $\hat{y}$ $t-1$

$g_i=d_{\hat{y}}l(y_i, \hat{y})$
$h_i=d^2_{\hat{y}}l(y_i, \hat{y})$

và là hàm mất mát của chúng ta. $l$

Câu hỏi (cuối cùng):

Khi xây dựng và xem xét một tính năng cụ thể trong một phân tách cụ thể, họ sử dụng phương pháp phỏng đoán sau để chỉ đánh giá một số ứng cử viên phân tách: Họ sắp xếp tất cả các ví dụ theo của họ , chuyển qua danh sách được sắp xếp và tính tổng đạo hàm thứ hai của họ . Họ xem xét một ứng cử viên chia chỉ khi tổng thay đổi hơn . Tại sao vậy??? $f_t$ $k$ $x_k$ $h_i$ $\epsilon$

Lời giải thích họ đưa ra cho tôi:

Họ tuyên bố chúng ta có thể viết lại phương trình trước đó như sau:

\sum_{i = 1}^{n} \frac{1}{2} h_{i} [f_{t} (x_{i}) - g_{i} / h_{i}]^{2} + c o n s t a n t

$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - g_i/h_i]^2 + constant$

và tôi không theo được đại số - bạn có thể chỉ ra tại sao nó bằng nhau không?

Và sau đó họ tuyên bố rằng "đây là tổn thất bình phương chính xác với các nhãn và trọng số " - một tuyên bố tôi đồng ý, nhưng tôi không hiểu nó liên quan đến thuật toán ứng cử viên mà họ đang sử dụng như thế nào. .. $gi/hi$ $h_i$

Cảm ơn và xin lỗi nếu điều này quá dài cho diễn đàn này.

xgboost gbm

— ihadanny
nguồn

8

Tôi sẽ không đi vào chi tiết nhưng những điều sau đây sẽ giúp bạn nắm bắt được ý tưởng.

$\{x_1, \cdots, x_{100}\}$ $10$ $\{x_{10}, x_{20}, \cdots, x_{90}\}$ $\epsilon$ $\sim \epsilon N$ $\epsilon = 0.01$ $\sim 100$ $\{1\%, 2\%, ..., 99\%\}$ $\epsilon$ $\epsilon$

$10$ $10\%$ $10\%$

— Nháy mắt
nguồn

Tôi đăng nhập chỉ để cho bạn một cuộc bỏ phiếu. Cảm ơn bạn đã giải thích dễ nắm bắt.

— Pakpoom Tiwakornkit

3

Chỉ cần thêm phần đại số vào câu trả lời @Winks:

Phương trình thứ hai nên có dấu của nó đảo ngược, như trong:

\sum_{i = 1}^{n} \frac{1}{2} h_{i} [f_{t} (x_{i}) - (- g_{i} / h_{i})]^{2} + c o n s t a n t = \sum_{i = 1}^{n} \frac{1}{2} h_{i} [f_{t}^{2} (x_{i}) + 2 \frac{f_{t} (x_{i}) g_{i}}{h_{i}} + (g_{i} / h_{i})^{2}] = \sum_{i = 1}^{n} [g_{i} f_{t} (x_{i}) + \frac{1}{2} h_{i} f_{t}^{2} (x_{i}) + \frac{g i^{2}}{2 h_{i}}]

$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - (-g_i/h_i)]^2 + constant = \sum_{i=1}^n\frac{1}{2}h_i[f_t^2(x_i) + 2\frac{f_t(x_i)g_i}{h_i} + (g_i/h_i)^2] = \sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i) + \frac{gi^2}{2h_i}]$

$g_i$ $h_i$ $f_t$

$-gi/hi$ $h_i$

Tín dụng đến Yaron và Avi từ nhóm của tôi để giải thích cho tôi điều này.

— ihadanny
nguồn

0

Và sau đó họ tuyên bố rằng "đây là tổn thất bình phương chính xác với nhãn gi / higi / hi và trọng số hihi" - một tuyên bố tôi đồng ý, nhưng tôi không hiểu nó liên quan đến thuật toán ứng cử viên mà họ đang sử dụng như thế nào .. .

$w$ $t-t_h$ $w* = -gi/hi$ $(ft - -(gi/hi))^2$
$w*$ $-avg(gi)/const$ $-sigma(gi)/sigma(hi)$ $w*$ $hi$ $gi$ $w*$ $hi$

$hi$

— XYZ
nguồn