Gradient cho chức năng mất hậu cần

Tôi sẽ hỏi một câu hỏi liên quan đến cái này .

Tôi tìm thấy một ví dụ về cách viết chức năng mất tùy chỉnh cho xgboost tại đây :

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

Chức năng mất hậu cần là

l o g (1 + e^{- y P})

$log(1+e^{-yP})$

Trong đó là tỷ lệ cược log và là nhãn (0 hoặc 1). $P$ $y$

Câu hỏi của tôi là: làm thế nào chúng ta có thể nhận được độ dốc (đạo hàm đầu tiên) đơn giản bằng với sự khác biệt giữa các giá trị thực và xác suất dự đoán (được tính từ tỷ lệ cược log như preds <- 1/(1 + exp(-preds)))?

— Ogurtsov
nguồn

Bạn nên sử dụng mất bình phương lỗi để đạt được điều đó. Ký hiệu của bạn là khó hiểu và nên được xác định trong bài. Nếu

là rủi ro dự đoán, thì

mất là điều bạn muốn. Tôi bối rối vì chúng tôi không bao giờ sử dụng

để có nghĩa là tỷ lệ cược log.

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— AdamO

đã được cố định để vốn

. Đó là tỷ lệ cược log, và nó được đánh dấu rõ ràng trong câu hỏi. Tôi biết rằng độ dốc cho hàm mất

là

, nhưng đó là tổn thất vuông, không phải là logistic.

p

$p$

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— Ogurtsov

Khi bạn nói "gradient", bạn có ý nghĩa gì về độ dốc? Độ dốc của sự mất mát? Đó là một mối quan hệ toán học đơn giản mà nếu đạo hàm của một biểu thức là một sự khác biệt tuyến tính, thì biểu thức đó là một sự khác biệt bậc hai, hoặc mất bình phương lỗi.

— AdamO

Vâng, đó là tất cả về độ dốc của sự mất mát. Nó là đơn giản, khi mất chức năng bình phương lỗi. Trong trường hợp này, hàm mất là logistic ( en.wikipedia.org/wiki/LogitBoost ) và tôi không thể tìm thấy sự tương ứng giữa độ dốc của hàm này và ví dụ mã đã cho.

— Ogurtsov

Câu trả lời của tôi cho câu hỏi của tôi: có, có thể chỉ ra rằng độ dốc cho mất logistic bằng với sự khác biệt giữa các giá trị thực và xác suất dự đoán. Giải thích ngắn gọn đã được tìm thấy ở đây .

Đầu tiên, mất logistic chỉ là khả năng log âm, vì vậy chúng ta có thể bắt đầu bằng biểu thức cho khả năng đăng nhập ( tr. 74 - biểu thức này là chính khả năng log, chứ không phải khả năng log âm):

L = y_{i} \cdot l o g (p_{i}) + (1 - y_{i}) \cdot l o g (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

$p_{i}$ $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = y_{i} \cdot l o g (\frac{1}{1 + e^{- {\hat{y}}_{i}}}) + (1 - y_{i}) \cdot l o g (\frac{e^{- {\hat{y}}_{i}}}{1 + e^{- {\hat{y}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

Đạo hàm đầu tiên thu được bằng Wolfram Alpha:

L^{'} = \frac{y_{i} - (1 - y_{i}) \cdot e^{{\hat{y}}_{i}}}{1 + e^{{\hat{y}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

$\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

L^{'} = \frac{y_{i} \cdot e^{- {\hat{y}}_{i}} + y_{i} - 1}{1 + e^{- {\hat{y}}_{i}}} = \frac{y_{i} \cdot (1 + e^{- {\hat{y}}_{i}})}{1 + e^{- {\hat{y}}_{i}}} - \frac{1}{1 + e^{- {\hat{y}}_{i}}} = y_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

Sau khi thay đổi dấu hiệu, chúng ta có biểu thức cho độ dốc của hàm mất logistic:

p_{i} - y_{i}

$p_{i}-y_{i}$

— Ogurtsov
nguồn

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$