Câu hỏi được gắn thẻ «word2vec»

Trong các mô hình CBOW và Skip-gram của word2vec, việc chọn vectơ từ từ (ma trận từ đầu vào) so với việc chọn vectơ từ từ (ma trận từ đầu ra) ảnh hưởng đến chất lượng của vectơ từ kết quả như thế nào?W 'WWWW′W′W' CBOW: Bỏ qua gram:

9 neural-networks  natural-language  word2vec  word-embeddings 

Tôi đã đọc mô hình word2vec tiêu chuẩn / nổi tiếng và theo ghi chú của standord cho cs224n , hàm mục tiêu thay đổi từ: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c + 2m log \left( \sum^{|V|}_{k=1} exp(u^{\top}_k v_c) \right) đến: JNS1=−logσ(u⊤c−m+jvc)−∑k=1Klogσ(−u⊤kvc)JNS1=−logσ(uc−m+j⊤vc)−∑k=1Klogσ(−uk⊤vc)J_{NS1} = -log \sigma( u^\top_{c-m+j} v_c ) - \sum^{K}_{k=1} …

8 neural-networks  deep-learning  natural-language  word2vec  word-embeddings