Câu hỏi được gắn thẻ «word-embeddings»

Đối với tác vụ xử lý ngôn ngữ tự nhiên (NLP), người ta thường sử dụng các vectơ word2vec như một cách nhúng cho các từ. Tuy nhiên, có thể có nhiều từ chưa biết mà các vectơ word2vec thu được chỉ đơn giản vì những từ này không được …

11 natural-language  word2vec  lstm  word-embeddings 

Trong các mô hình CBOW và Skip-gram của word2vec, việc chọn vectơ từ từ (ma trận từ đầu vào) so với việc chọn vectơ từ từ (ma trận từ đầu ra) ảnh hưởng đến chất lượng của vectơ từ kết quả như thế nào?W 'WWWW′W′W' CBOW: Bỏ qua gram:

9 neural-networks  natural-language  word2vec  word-embeddings 

Tôi đã đọc mô hình word2vec tiêu chuẩn / nổi tiếng và theo ghi chú của standord cho cs224n , hàm mục tiêu thay đổi từ: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c + 2m log \left( \sum^{|V|}_{k=1} exp(u^{\top}_k v_c) \right) đến: JNS1=−logσ(u⊤c−m+jvc)−∑k=1Klogσ(−u⊤kvc)JNS1=−logσ(uc−m+j⊤vc)−∑k=1Klogσ(−uk⊤vc)J_{NS1} = -log \sigma( u^\top_{c-m+j} v_c ) - \sum^{K}_{k=1} …

8 neural-networks  deep-learning  natural-language  word2vec  word-embeddings