Biểu diễn vector đầu vào so với biểu diễn vector đầu ra trong word2vec

Trong các mô hình CBOW và Skip-gram của word2vec, việc chọn vectơ từ từ (ma trận từ đầu vào) so với việc chọn vectơ từ từ (ma trận từ đầu ra) ảnh hưởng đến chất lượng của vectơ từ kết quả như thế nào?W $W$$W'$

CBOW:

Bỏ qua gram:

Gart et al. {1} so sánh các vectơ từ thu được bằng cách thêm vectơ từ đầu vào với vectơ từ đầu ra, so với vectơ từ thu được bằng cách ghép các vectơ từ đầu vào với vectơ từ đầu ra. Trong các thí nghiệm của họ, kết quả mang lại kết quả tốt hơn đáng kể:

Bài giảng video {2} khuyến nghị trung bình các vectơ từ đầu vào với các vectơ từ đầu ra, nhưng không so sánh với các vectơ từ đầu vào ghép với các vectơ từ đầu ra.

Người giới thiệu:

• {1} Garten, J., Sagae, K., Ustun, V., & Dehghani, M. (2015, tháng 6). Kết hợp các đại diện Vector phân tán cho các từ . Trong thủ tục tố tụng NAACL-HLT (trang 95-101).
• {2} Stanford CS224N: NLP với Deep Learning của Christopher Manning | Mùa đông 2019 | Bài giảng 2 - Vectơ từ và giác quan từ. https://youtu.be/kEMJRjEdNzM?t=1565 ( gương )