Áp dụng các từ nhúng cho toàn bộ tài liệu, để có được một vectơ đặc trưng

Làm cách nào để sử dụng từ nhúng để ánh xạ tài liệu tới vectơ đặc trưng, ​​phù hợp để sử dụng với việc học có giám sát?

Một từ nhúng ánh xạ mỗi từ vào một vectơ , trong đó là một số không quá lớn (ví dụ: 500). Các từ nhúng phổ biến bao gồm word2vec và Găng tay .v ∈ R d$w$$v \in \mathbb{R}^d$$d$

Tôi muốn áp dụng học tập có giám sát để phân loại tài liệu. Tôi hiện đang ánh xạ mỗi tài liệu vào một vectơ đặc trưng bằng cách sử dụng biểu diễn túi từ, sau đó áp dụng trình phân loại ngoài giá. Tôi muốn thay thế vectơ đặc trưng của từ bằng một từ dựa trên cách nhúng từ được đào tạo sẵn, để tận dụng kiến ​​thức ngữ nghĩa có trong từ nhúng. Có một cách tiêu chuẩn để làm điều đó?

Tôi có thể tưởng tượng một số khả năng, nhưng tôi không biết liệu có thứ gì đó có ý nghĩa nhất không. Cách tiếp cận ứng viên mà tôi đã xem xét:

• Tôi có thể tính toán vectơ cho mỗi từ trong tài liệu và tính trung bình tất cả chúng. Tuy nhiên, điều này có vẻ như có thể mất rất nhiều thông tin. Ví dụ, với cách biểu thị túi từ, nếu có một vài từ có liên quan cao đến nhiệm vụ phân loại và hầu hết các từ không liên quan, trình phân loại có thể dễ dàng học được điều đó; nếu tôi tính trung bình các vectơ cho tất cả các từ trong tài liệu, bộ phân loại không có cơ hội.

• Ghép các vectơ cho tất cả các từ không hoạt động, vì nó không dẫn đến một vectơ đặc trưng có kích thước cố định. Ngoài ra nó có vẻ như là một ý tưởng tồi bởi vì nó sẽ quá nhạy cảm với vị trí cụ thể của một từ.

• Tôi có thể sử dụng từ nhúng để phân cụm từ vựng của tất cả các từ thành một cụm cố định, giả sử, 1000 cụm, trong đó tôi sử dụng độ tương tự cosine trên các vectơ như một thước đo độ tương tự của từ. Sau đó, thay vì một cụm từ, tôi có thể có một cụm túi: vectơ đặc trưng mà tôi cung cấp cho lớp này có thể là một vectơ 1000, trong đó thành phần thứ đếm số lượng từ trong tài liệu là một phần của cụm .$i$$i$

• Cho một từ , các từ nhúng này cho phép tôi tính toán một bộ gồm 20 từ giống nhau nhất hàng đầu và điểm tương tự của chúng . Tôi có thể điều chỉnh vectơ đặc trưng giống như từ bằng cách sử dụng cái này. Khi tôi thấy từ , ngoài việc tăng phần tử tương ứng với từ thêm , tôi cũng có thể tăng phần tử tương ứng với từ theo , tăng phần tử tương ứng với từ lên , v.v.w 1 , ... , w 20 s 1 , ... , s 20 w w 1 w 1 s 1 w 2 s $w$$w_1,\dots,w_{20}$$s_1,\dots,s_{20}$$w$$w$$1$$w_1$$s_1$$w_2$$s_2$

Có cách tiếp cận cụ thể nào có khả năng hoạt động tốt để phân loại tài liệu không?

Tôi không tìm kiếm đoạn2vec hoặc doc2vec; những người yêu cầu đào tạo trên một kho dữ liệu lớn và tôi không có kho dữ liệu lớn. Thay vào đó, tôi muốn sử dụng một từ nhúng hiện có.

Một kỹ thuật đơn giản có vẻ hoạt động hợp lý tốt cho các văn bản ngắn (ví dụ: câu hoặc tweet) là tính toán vectơ cho mỗi từ trong tài liệu, sau đó tổng hợp chúng bằng cách sử dụng trung bình tọa độ khôn ngoan, tối thiểu hoặc tối đa.

Dựa trên kết quả trong một bài báo gần đây, có vẻ như việc sử dụng min và max hoạt động khá tốt. Nó không tối ưu, nhưng nó đơn giản và tốt hoặc tốt hơn các kỹ thuật đơn giản khác. Cụ thể, nếu các vectơ cho từ trong tài liệu là , thì bạn tính và . Ở đây, chúng ta lấy mức tối thiểu theo tọa độ, tức là tối thiểu là một vectơ sao cho và tương tự cho max. Vectơ đặc trưng là sự kết hợp của hai vectơ này, vì vậy chúng ta có được một vectơ đặc trưng trong$n$$v^1,v^2,\dots,v^n \in \mathbb{R}^d$max ( v 1 , ... , v n ) u u i = min ( v 1 i , ... , v n i ) R 2 $\min(v^1,\dots,v^n)$$\max(v^1,\dots,v^n)$$u$$u_i = \min(v^1_i, \dots, v^n_i)$$\mathbb{R}^{2d}$. Tôi không biết điều này tốt hơn hay tệ hơn cách diễn đạt bằng từ ngữ, nhưng đối với các tài liệu ngắn, tôi nghi ngờ nó có thể hoạt động tốt hơn so với từ ngữ và nó cho phép sử dụng các từ nhúng được đào tạo trước.

TL; DR: Đáng ngạc nhiên, sự kết hợp giữa min và max hoạt động khá tốt.

Tài liệu tham khảo:

Học đại diện cho các văn bản rất ngắn bằng cách sử dụng tổng hợp nhúng từ có trọng số. Cedric De Boom, Steven Van Canneyt, Thomas Demeester, Bart Dhoedt. Thư nhận dạng mẫu; arxiv: 1607.00570. trừu tượng , pdf . Xem đặc biệt Bảng 1 và 2.

Tín dụng: Cảm ơn @ user115202 đã chú ý đến bài báo này.

Bạn có thể sử dụng doc2vec tương tự như word2vec và sử dụng mô hình được đào tạo trước từ một kho văn bản lớn. Sau đó sử dụng một cái gì đó như .infer_vector()trong gensim để xây dựng một vectơ tài liệu. Việc đào tạo doc2vec không cần thiết phải đến từ tập huấn luyện.

Một phương pháp khác là sử dụng RNN, CNN hoặc cung cấp mạng chuyển tiếp để phân loại. Điều này kết hợp hiệu quả các vectơ từ thành một vectơ tài liệu.

Bạn cũng có thể kết hợp các tính năng thưa thớt (từ) với các tính năng dày đặc (vectơ từ) để bổ sung cho nhau. Vì vậy, ma trận tính năng của bạn sẽ là sự kết hợp của túi ma trận từ thưa thớt với trung bình của vectơ từ. https://research.googleblog.com/2016/06/ Worldwide-deep-learning-better-together-with.html

Một phương pháp thú vị khác là sử dụng thuật toán tương tự word2vec nhưng thay vì dự đoán từ mục tiêu, bạn có thể dự đoán nhãn đích. Điều này trực tiếp điều chỉnh các vectơ từ cho nhiệm vụ phân loại. http://arxiv.org/pdf/1607.01759v2.pdf

Đối với các phương pháp ad hoc hơn, bạn có thể thử cân các từ khác nhau tùy theo cú pháp. Ví dụ, bạn có thể cân động từ mạnh hơn các yếu tố quyết định.

Nếu bạn đang làm việc với văn bản tiếng Anh và muốn bắt đầu nhúng từ được đào tạo trước, thì vui lòng xem điều này: https://code.google.com.vn/archive/p/word2vec/

Đây là phiên bản C gốc của word2vec. Cùng với bản phát hành này, họ cũng đã phát hành một mô hình được đào tạo trên 100 tỷ từ được lấy từ các bài báo của Google News (xem tiểu mục có tiêu đề: "Các vectơ từ và cụm từ được đào tạo trước").

Theo ý kiến ​​và kinh nghiệm của tôi khi làm việc với các từ nhúng, để phân loại tài liệu, một mô hình như doc2vec (với CBOW) hoạt động tốt hơn nhiều so với túi từ.

Vì, bạn có một kho văn bản nhỏ, tôi đề nghị, bạn khởi tạo ma trận nhúng từ của mình bằng các nhúng được đào tạo trước được đề cập ở trên. Sau đó đào tạo cho vectơ đoạn trong mã doc2vec. Nếu bạn cảm thấy thoải mái với python, bạn có thể kiểm tra phiên bản gensim của nó, rất dễ sửa đổi.

Đồng thời kiểm tra bài viết này để biết chi tiết hoạt động bên trong của word2vec / doc2vec: http://arxiv.org/abs/1411.2738 . Điều này sẽ làm cho việc hiểu mã gensim rất dễ dàng.