Đạo hàm của mất entropy chéo trong word2vec

Tôi đang cố gắng giải quyết vấn đề đầu tiên của tài liệu khóa học stanford trực tuyến cs224d và tôi gặp một số vấn đề với vấn đề 3A: Khi sử dụng mô hình bỏ qua gram word2vec với chức năng dự đoán softmax và chức năng mất entropy chéo, chúng tôi muốn tính toán độ dốc đối với các vectơ từ dự đoán. Vì vậy, đưa ra chức năng softmax:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

và chức năng entropy chéo:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

chúng ta cần tính toán $\frac{\partial{CE}}{\partial{\hat{r}}}$

Các bước của tôi như sau:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

bây giờ cho $w_k$ là một vectơ nóng và tôi là lớp đúng:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

Điều này là chính xác hay nó có thể được đơn giản hóa hơn nữa? Tôi muốn cố gắng đảm bảo rằng tôi đang đi đúng hướng vì các giải pháp đặt vấn đề không được đăng trực tuyến. Cộng với việc nhận các bài tập chính xác là rất quan trọng để có thể thực hiện đúng các bài tập lập trình.

machine-learning self-study word2vec

— slushi
nguồn

Vui lòng thêm thẻ tự học vào câu hỏi

— Dawny33

Dấu trừ thứ 2 trong danh tính nhật ký đầu tiên phải là một điểm cộng. Đã cố gắng sửa nó cho bạn nhưng các chỉnh sửa cần ít nhất 6 ký tự: \

— FatalMojo

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \frac{1}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r}) w_{j}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$ có thể được viết lại thành lưu ý, các khoản tiền đều được lập chỉ mục bởi j nhưng nó thực sự phải là 2 biến khác nhau. Điều này sẽ phù hợp hơn dịch sang

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{j}^{| V |} (\frac{\exp (w_{j}^{⊤} \hat{r})}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \cdot w_{j})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{x}^{| V |} (\frac{\exp (w_{x}^{⊤} \hat{r})}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \cdot w_{x})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{x}^{| V |} Pr (w o r d_{x} ∣ \hat{r}, w) \cdot w_{x}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$

— FatalMojo
nguồn

Có liên quan, anh ấy đi qua dẫn xuất đó một cách chi tiết trong bài giảng 2 @ 38:00

— FatalMojo

Tại sao các khoản tiền phải được lập chỉ mục bởi các biến khác nhau?

— Yamaneko

Chỉ để tránh nhầm lẫn. Về mặt toán học, điều đó có nghĩa tương tự, nhưng đó là cách tốt để thay đổi nhãn chỉ mục khi thêm một tổng mới.

— FatalMojo