Làm thế nào để mô hình bỏ qua gram của Word2Vec tạo ra các vectơ đầu ra?

11

Tôi gặp vấn đề trong việc hiểu mô hình bỏ qua của thuật toán Word2Vec.

Trong các từ liên tục có thể dễ dàng thấy các từ ngữ cảnh có thể "khớp" trong Mạng thần kinh như thế nào, vì về cơ bản, bạn trung bình chúng sau khi nhân từng biểu diễn mã hóa một nóng với ma trận đầu vào W.

Tuy nhiên, trong trường hợp bỏ qua gram, bạn chỉ nhận được vectơ từ đầu vào bằng cách nhân mã hóa một nóng với ma trận đầu vào và sau đó bạn có thể lấy các biểu diễn vectơ C (= kích thước cửa sổ) cho các từ ngữ cảnh bằng cách nhân biểu diễn vectơ đầu vào với ma trận đầu ra W '.

Những gì tôi có nghĩa là, có một vốn từ vựng của kích thước và mã hóa kích thước , ma trận đầu vào và là ma trận đầu ra. Cho từ với mã hóa một nóng với các từ ngữ cảnh và (với đại diện một nóng và ), nếu bạn nhân với ma trận đầu vào bạn nhận được $V$ $N$ $W \in \mathbb{R}^{V\times N}$ $W' \in \mathbb{R}^{N\times V}$ $w_i$ $x_i$ $w_j$ $w_h$ $x_j$ $x_h$ $x_i$ $W$ , bây giờ làm thế nào để bạn tạo ra vectơ điểm từ này? ${\bf h} := x_i^TW = W_{(i,\cdot)} \in \mathbb{R}^N$ $C$

— crscardellino
nguồn

7

Tôi đã có cùng một vấn đề hiểu nó. Có vẻ như vectơ điểm đầu ra sẽ giống nhau cho tất cả các thuật ngữ C. Nhưng sự khác biệt về lỗi với mỗi vectơ đại diện một nóng sẽ khác nhau. Do đó, các vectơ lỗi được sử dụng trong lan truyền ngược để cập nhật các trọng số.

Nêu tôi sai vui long chân chỉnh tôi.

nguồn: https://iksinc.wordpress.com/tag/skip-gram-model/

— yazhi
nguồn

nên

?

W^{'} \in R^{N \times (V * C)}

$W' \in \mathbb{R}^{N\times (V*C)}$

— Fabich

0

Trong cả hai điểm số đầu ra của mô hình phụ thuộc vào chức năng điểm số mà bạn sử dụng. Có thể có hai chức năng điểm số softmax hoặc lấy mẫu âm tính. Vì vậy, bạn sử dụng một chức năng điểm số softmax. Bạn sẽ nhận được kích thước chức năng điểm của N * D. Ở đây D là kích thước của một vectơ từ. N là số ví dụ. Mỗi từ giống như một lớp trong kiến trúc mạng thần kinh.

— Shamane Siriwardhana
nguồn

0

$k_{th}$ $k_{th}$

Điểm cho mỗi từ được tính theo phương trình sau.

$u = \mathcal{W'}^Th$

$\mathcal{W'}$ $u$ $\mathcal{C}$ $\mathcal{C}$

$p(w_{c,j} = w_{O,c}|w_I)=\frac{\exp{u_{c,j}}}{\sum_{j'=1}^V\exp{u_{j'}}}$

$\mathcal{C}$

$u$ $\mathcal{C}$

$\textbf{References:}$

Xin Rong, Word2Vec Tham số học tập Giải thích

— người dùng 3108764
nguồn

Vậy ma trận W thực chất là các vectơ từ (đầu ra của thuật toán) và W 'là một ma trận hoàn toàn khác mà chúng ta vứt bỏ?

— Nadav B

W 'cũng là các vectơ từ cũng tốt như nhau.

— 3108764

1

p (w_{c, j} = w_{O, c} | w_{I}) = \frac{\exp u_{c, j}}{\sum_{j^{'} = 1}^{V} \exp u_{j^{'}}} = \frac{\exp u_{j}}{\sum_{j^{'} = 1}^{V} \exp u_{j^{'}}}

$p(w_{c,j} = w_{O,c}|w_I)=\frac{\exp{u_{c,j}}}{\sum_{j'=1}^V\exp{u_{j'}}}=\frac{\exp{u_{j}}}{\sum_{j'=1}^V\exp{u_{j'}}}$