Vector hóa của mất Entropy chéo

Tôi đang xử lý một vấn đề liên quan đến việc tìm độ dốc của hàm mất entropy chéo, ghi tham số trong đó:$\theta$

$CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})}$

Trong đó, và là một đầu vào vector.$\hat{y}_{i} = softmax(\theta_i)$$\theta_i$

Ngoài ra, là một vectơ nóng của lớp đúng và là dự đoán cho mỗi lớp sử dụng hàm softmax.$y$$\hat{y}$

Do đó, ví dụ: hãy để vày i = ( 0,10 0,20 0,10 0,40 0,20$y_i = \begin{pmatrix}0\\0\\0\\1\\0\end{pmatrix}$$\hat{y}_{i} = \begin{pmatrix}0.10\\0.20\\0.10\\0.40\\0.20\end{pmatrix}$

Để tìm đạo hàm riêng$\frac{\partial{CE(\theta)}}{\partial{\theta{ik}}} = -{y_{ik} - \hat{y}_{ik}}$

Lấy từ đó cho mỗi , độ dốc từng phần riêng lẻ sẽ là $i$$\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = \begin{pmatrix}y_{i1} - \hat{y}_{i1}\\y_{i2} - \hat{y}_{i2}\\y_{i3} - \hat{y}_{i3}\\y_{i4} - \hat{y}_{i4}\\y_{i5} - \hat{y}_{i5}\end{pmatrix}$

Nhưng điều này không đúng vì độ dốc thực sự phải là 0 cho tất cả các hàng khác ngoại trừ hàng thứ 4 vì chúng ta đã sử dụng thuộc tính của một vectơ nóng. Vì vậy, độ dốc thực tế phải là $\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = \begin{pmatrix}0\\0\\0\\y_{i4} - \hat{y}_{i4}\\0\end{pmatrix}$

Và do đó, độ dốc cho tất cả phải là ∂ C E ( θ $i$$\frac{\partial{CE(\theta)}}{\partial{\theta}} = \left( \begin{array}{ccc} 0 & 0 & 0 & y_{i4} - \hat{y}_{i4} & 0 \\ 0 & 0 & y_{i3} - \hat{y}_{i3} & 0 & 0 \\ ... \\ 0 & y_{i2} - \hat{y}_{i2} & 0 & 0 & 0 \end{array} \right)$

Nhưng điều này không bằng . Vì vậy, chúng ta không nên gọi độ dốc của hàm entropy chéo là sự khác biệt vectơ giữa dự đoán và bản gốc.$\hat{y} - y$

Ai đó có thể làm rõ về điều này?

CẬP NHẬT: Đã sửa lỗi phái sinh của tôi

$\theta = \left( \begin{array}{c} \theta_{1} \\ \theta_{2} \\ \theta_{3} \\ \theta_{4} \\ \theta_{5} \\ \end{array} \right)$

$CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})}$

Trong đó, và là một đầu vào vector.θ$\hat{y}_{i} = softmax(\theta_i)$$\theta_i$

Ngoài ra, là một vectơ nóng của lớp đúng và là dự đoán cho mỗi lớp sử dụng hàm softmax.$y$$\hat{y}$

$\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = - (log(\hat{y}_{k}))$

CẬP NHẬT: Đã xóa chỉ mục khỏi và$y$$\hat{y}$ Do đó, ví dụ: hãy để vày = ( 0,10 0,20 0,10 0,40 0,20$y = \begin{pmatrix}0\\0\\0\\1\\0\end{pmatrix}$$\hat{y} = \begin{pmatrix}0.10\\0.20\\0.10\\0.40\\0.20\end{pmatrix}$

CẬP NHẬT: Đã sửa lỗi Tôi đang dùng wrt phái sinh nó chỉ nên là wrt . θ $\theta_{ik}$$\theta_{i}$ Để tìm đạo hàm riêng$\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = -{y_{k} - \hat{y}_{k}}$

Lấy từ đó cho mỗi , độ dốc từng phần riêng lẻ sẽ là ∂ C E ( θ $i$$\frac{\partial{CE(\theta)}}{\partial{\theta}} = \begin{pmatrix}y_{1} - \hat{y}_{1}\\y_{2} - \hat{y}_{2}\\y_{3} - \hat{y}_{3}\\y_{4} - \hat{y}_{4}\\y_{5} - \hat{y}_{5}\end{pmatrix}$

Điều trên xảy ra vì Và, Lấy đạo hàm riêng của wrt chúng tôi nhận được:$CE(\theta) = -(y_k*log({\hat{y}_{k}}))$CE$\hat{y}_{k} = log(softmax(\theta_k)) = \theta_k - log(\sum\nolimits_{j}{exp(\theta_j)})$θ $CE(\theta)$$\theta_i$

$\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = - (\frac{\partial{\theta_k}}{\partial{\theta{i}}} - softmax(\theta_i))$

BƯỚC CHÍNH: Thực tế là và làm cho vectơ hoàn thành bằng chứng.∂ q $\frac{\partial{\theta_k}}{\partial{\theta{i}}} = 0, i \neq k$∂CE(θ$\frac{\partial{\theta_k}}{\partial{\theta{i}}} = 1, i = k$$\frac{\partial{CE(\theta)}}{\partial{\theta}} = \hat{y} - y$

Không, độ dốc không nên bằng 0 đối với các thành phần khác. Nếu dự đoán của bạn là đối với một số và quan sát của bạn , thì bạn đã dự đoán quá nhiều bởi .i,jyij=0$\hat y_{ij}$$i,j$$y_{ij}=0$$\hat y_{ij}$

Dưới đây là nội dung tương tự như chỉnh sửa, nhưng ở định dạng từng bước rõ ràng hơn (đối với tôi):

Chúng tôi đang cố gắng chứng minh rằng:

$\frac{\partial{CE}}{\partial{\theta}} = \hat{y} - y$

được

$CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})}$

và

$\hat{y}_{i} = \frac{exp(\theta_i)}{\sum\nolimits_{j}{exp(\theta_j)}}$

Chúng tôi biết rằng cho và , vì vậy:$y_{j} = 0$$j \neq k$$y_k = 1$

$CE(\theta) = -\ log({\hat{y}_{k}})$

$= - \ log(\frac{exp(\theta_k)}{\sum\nolimits_{j}{exp(\theta_j)}})$

$= - \ \theta_k + log(\sum\nolimits_{j}{exp(\theta_j)})$

$\frac{\partial{CE}}{\partial{\theta}} = - \frac{\partial{\theta_k}}{\partial{\theta}} + \frac{\partial}{\partial{\theta}} log(\sum\nolimits_{j}{exp(\theta_j))}$

Sử dụng thực tế là và cho , để cho thấy rằng.$\frac{\partial{\theta_k}}{\partial{\theta_k}} = 1$$\frac{\partial{\theta_k}}{\partial{\theta_q}} = 0$$q \neq k$

$\frac{\partial{\theta_k}}{\partial{\theta}} = y$

Đối với phần thứ hai, chúng tôi viết ra đạo hàm cho từng phần tử riêng lẻ của và sử dụng quy tắc chuỗi để nhận:$\theta$

$\frac{\partial}{\partial{\theta_i}} log(\sum\nolimits_{j}{exp(\theta_j))} = \frac{exp(\theta_i)}{\sum\nolimits_{j}{exp(\theta_j)}} = \hat{y}_{i}$

Vì thế,

$\frac{\partial{CE}}{\partial{\theta}} = \frac{\partial}{\partial{\theta}} log(\sum\nolimits_{j}{exp(\theta_j))} - \frac{\partial{\theta_k}}{\partial{\theta}} = \hat{y}$ - y