Sinh viên cho Skipgram word2vec

Tôi đang giải quyết các vấn đề trong bài tập viết sâu của lớp học NLP Stanford http://cs224d.stanford.edu/assocate1/assocate1_soln

Tôi đang cố gắng để hiểu câu trả lời cho 3a nơi họ đang tìm kiếm đạo hàm cho vectơ cho từ trung tâm.

Giả sử bạn được cung cấp một vectơ từ dự đoán tương ứng với từ trung tâm c cho Skipgram và dự đoán từ được thực hiện với hàm softmax được tìm thấy trong các mô hình word2vec.$v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

Trong đó w biểu thị từ w-th và (w = 1, .., W) là các vectơ từ đầu ra của cho tất cả các từ trong từ vựng. Giả sử chi phí entropy chéo được áp dụng cho dự đoán này và từ o là từ dự kiến.$u_w$

Trong đó là ma trận của tất cả các vectơ đầu ra và hãy là vectơ cột của dự đoán softmax của các từ và y là nhãn một nóng cũng là một vector cột.$U = [u_1,u_2, · · · ,u_W ]$$\hat{y}$

Trong đó entropy chéo là$CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

Vì vậy, câu trả lời cho độ dốc cho vectơ trung tâm là$\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

Ai đó có thể chỉ cho tôi các bước để có được điều này? Tôi đã sử dụng câu hỏi này làm Tài liệu tham khảo về mất entropy chéo trong word2vec nhưng tôi đặc biệt muốn biếtđại diện.$U^T(\hat{y} − y).$

Đầu tiên, hãy trình bày những gì chúng ta có và các giả định của chúng ta về hình dạng của các vectơ khác nhau. Để cho,

1. $|W|$là số lượng từ trong vocab
2. $y$ và là các vectơ cột có hình dạngx 1y | W |$\hat{y}$$|W|$
3. $u_i$ và là các vectơ cột có hình dạng X 1 ( = kích thước của các nhúng)$v_j$$D$$D$
4. $y$ là vectơ cột được mã hóa một hình nóngx 1$|W|$
5. $\hat{y}$ là vectơ cột dự đoán softmax có hình dạngx 1$|W|$
6. $\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
7. Mất entropy chéo:$J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
8. $U = [u_1, u_2, ...,u_k, ...u_W]$ là một ma trận gồm các vectơ cột .$u_k$

Bây giờ, chúng ta có thể viết Đơn giản hóa, Bây giờ, chúng ta biết rằng là một mã hóa nóng, vì vậy tất cả các yếu tố của nó bằng không, ngoại trừ chỉ số tại, giả sử, chỉ số . Điều đó có nghĩa là, chỉ có một thuật ngữ khác không trong tổng kết ở trên tương ứng với và tất cả các thuật ngữ khác trong tổng kết là số không. Vì vậy, chi phí cũng có thể được viết là: Lưu ý: ở trên là 1.

$$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$$ $$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y$$k^{th}$$y_k$ $$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y_k$

Giải quyết cho : $\frac{\partial J}{\partial v_c}$

$$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$$

Có thể được sắp xếp lại dưới dạng: Sử dụng định nghĩa (6), chúng ta có thể viết lại phương trình trên dưới dạng:

$$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$$ $$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$$

Bây giờ hãy xem làm thế nào điều này có thể được viết trong ký hiệu Ma trận. Lưu ý rằng:

1. $u_k$ U . y có thể được viết dưới dạng phép nhân vectơ ma trận:$U.y$
2. Và là một phép biến đổi tuyến tính của vectơ trong được chia tỷ lệ tương ứng bởi . Điều này một lần nữa có thể được viết là$\sum_{w=1}^W (\hat{y}_w u_w)$$u_w$$U$y$\hat{y}_w$$U.\hat{y}$

Vì vậy, toàn bộ điều có thể được viết ngắn gọn là:

$$U[\hat{y} -y]$$

Cuối cùng, lưu ý rằng chúng ta giả sử s là một vectơ cột. Nếu chúng tôi đã bắt đầu với các vectơ hàng, chúng tôi sẽ nhận được , giống như những gì bạn đang tìm kiếm.$u_i$$U^T[\hat{y} -y]$