Câu hỏi được gắn thẻ «language-models»

Từ những gì tôi đã thấy, công thức làm mịn Kneser-Ney (bậc hai) theo cách này hay cách khác được đưa ra như P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} với hệ số chuẩn hóa được cho làλ(wn−1)λ(wn−1)\lambda(w_{n-1}) λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Một cách để tạo ra các từ nhúng như sau ( gương ): Nhận một tập đoàn, ví dụ: "Tôi thích bay. Tôi thích NLP. Tôi thích học sâu." Xây dựng ma trận cooccurrence từ nó: Thực hiện SVD trên và giữ các cột đầu tiên của U.XXXkkk Mỗi hàng …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Tôi đang gặp khó khăn để hiểu câu này: Kiến trúc được đề xuất đầu tiên tương tự như NNLM tiếp theo, trong đó lớp ẩn phi tuyến tính được loại bỏ và lớp chiếu được chia sẻ cho tất cả các từ (không chỉ ma trận chiếu); do đó, …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

Một cách tiếp cận truyền thống về xây dựng tính năng để khai thác văn bản là cách tiếp cận theo từ và có thể được tăng cường bằng cách sử dụng tf-idf để thiết lập vectơ đặc trưng mô tả tài liệu văn bản đã cho. Hiện tại, tôi …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

Trong nhiều ứng dụng xử lý ngôn ngữ tự nhiên như sửa lỗi chính tả, dịch máy và nhận dạng giọng nói, chúng tôi sử dụng các mô hình ngôn ngữ. Các mô hình ngôn ngữ được tạo ra thường bằng cách đếm tần suất các chuỗi từ (n-gram) xuất …

8 distributions  modeling  natural-language  language-models