Word2Vec để nhận dạng thực thể được đặt tên

Tôi đang tìm cách sử dụng triển khai word2vec của google để xây dựng một hệ thống nhận dạng thực thể có tên. Tôi đã nghe nói rằng các mạng lưới thần kinh đệ quy với sự lan truyền ngược qua cấu trúc rất phù hợp cho các nhiệm vụ nhận dạng thực thể được đặt tên, nhưng tôi không thể tìm thấy một triển khai tốt hoặc một hướng dẫn tốt cho loại mô hình đó. Bởi vì tôi đang làm việc với một kho dữ liệu không điển hình, các công cụ NER tiêu chuẩn trong NLTK và tương tự đã hoạt động rất kém và có vẻ như tôi sẽ phải đào tạo hệ thống của riêng mình.

Nói tóm lại, những nguồn lực nào có sẵn cho loại vấn đề này? Có một triển khai mạng thần kinh đệ quy tiêu chuẩn có sẵn?

Thay vì "mạng lưới thần kinh đệ quy với sự lan truyền ngược", bạn có thể xem xét phương pháp được sử dụng bởi Frantzi, et. al. tại Trung tâm khai thác văn bản quốc gia (NaCTeM) tại Đại học Manchester cho Termine (xem: http://www.nactem.ac.uk/index.php và http://personalpages.manchester.ac.uk/staff/sophia. ananiadou / IJODL2000.pdf ) Thay vì mạng lưới thần kinh sâu sắc, họ "kết hợp thông tin ngôn ngữ và thống kê".

Hai bài báo gần đây sử dụng kiến ​​trúc Deep learning gọi là CharWNN để giải quyết vấn đề này. CharWNN lần đầu tiên được sử dụng để có được kết quả hiện đại (không có tính năng thủ công) trên phần Một phần của bài phát biểu (POS) trên một văn bản tiếng Anh.

Bài viết thứ hai của cùng một tác giả sử dụng cùng một kiến ​​trúc (hoặc tương tự) để dự đoán liệu một từ có thuộc 10 lớp Thực thể được đặt tên hay không, với trạng thái rõ ràng của kết quả nghệ thuật.

Hãy thử http://deeplearning4j.org/word2vec.html . Điều này có triển khai Word2Vec được sử dụng thay cho Bag of Words cho NER và các nhiệm vụ NLP khác.

Dưới đây là một số ý tưởng về cách sử dụng vectơ từ cho NER, phương pháp này áp dụng cách tiếp cận chủ yếu là word2vec-centric.

1. Đưa ra một tập hợp các vectơ từ (hoặc thứ gì đó bạn đã đào tạo hoặc thứ gì đó ngoài giá trị như GoogleNews-vectors-neg300.bin), khám phá các cụm trong không gian vectơ. Các cụm này về cơ bản là định nghĩa của bạn cho các khái niệm không tên khác nhau.
2. Với sự giám sát tối thiểu, bạn có thể ánh xạ / chuyển đổi các cụm không tên để phù hợp với kiến ​​thức của con người, do đó tạo ra các khái niệm được đặt tên dựa trên các vectơ từ đã biết và các khái niệm không tên. Ví dụ: một phương thức findCluster(['joy', 'surprise', 'disgust', 'trust', 'fear', 'sadness', 'anger', 'anticipation'])có thể trả về một danh sách chứa hàng trăm từ chủ yếu liên quan đến cảm xúc. Nếu bạn đặt tên cho danh sách này là 'cảm xúc', thì ở đó bạn có một khái niệm được đặt tên là 'cảm xúc' được xác định dựa trên không gian vectơ.
3. Bạn cũng có thể làm toán vectơ để tìm khái niệm trung gian giữa hai cái đã cho. Ví dụ, toán học vectơ có thể cho bạn biết rằng khi đưa ra hai từ 'bất ngờ' và 'ghê tởm', những điều sau đây được tìm thấy giữa hai điều: mất tinh thần, ngạc nhiên, thất vọng, kinh ngạc, hoang mang, bực tức, sốc, v.v. bạn xây dựng mối quan hệ giữa các khái niệm.
4. Bạn có thể lặp lại những điều trên để xây dựng các loại hình được đặt tên khác nhau, như: ngày thường, tất cả cảm xúc, cảm xúc hạnh phúc, phương tiện, v.v.
5. Khi bạn đã xây dựng các lớp của các khái niệm được đặt tên, sau đó bạn có thể huấn luyện RNN trên một văn bản đã được tăng cường với các khái niệm đã đặt tên, do đó, 'cáo nâu nhảy' cũng là '{color} {động vật} {hành động}', v.v. Bằng cách này, RNN sẽ có thể học một số ngữ pháp thô sơ một cách không giám sát.
6. Nếu bạn đã xây dựng một ngữ pháp đủ mạnh từ những điều trên, thì bạn sẽ có thể áp dụng nó cho một số nhiệm vụ NER của bạn.