Câu hỏi được gắn thẻ «word-embeddings»

Trong nhiều thư viện mạng thần kinh, có 'các lớp nhúng', như trong Keras hoặc Lasagne . Tôi không chắc chắn tôi hiểu chức năng của nó, mặc dù đọc tài liệu. Ví dụ, trong tài liệu Keras có ghi: Biến các số nguyên dương (chỉ mục) thành các vectơ …

92 machine-learning  neural-networks  python  word-embeddings 

Cần hiểu hoạt động của lớp 'Nhúng' trong thư viện Keras. Tôi thực thi đoạn mã sau trong Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) cung cấp đầu …

70 text-mining  word-embeddings  keras 

Làm cách nào để sử dụng từ nhúng để ánh xạ tài liệu tới vectơ đặc trưng, ​​phù hợp để sử dụng với việc học có giám sát? Một từ nhúng ánh xạ mỗi từ vào một vectơ , trong đó là một số không quá lớn (ví dụ: 500). …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Sau khi đào tạo các vectơ từ với word2vec, tốt hơn là bình thường hóa chúng trước khi sử dụng chúng cho một số ứng dụng tiếp theo? Tức là những ưu / nhược điểm của việc bình thường hóa chúng là gì?

38 natural-language  word2vec  word-embeddings 

Tôi đang sử dụng dấu mũ để chạy một rừng ngẫu nhiên được xác thực chéo qua tập dữ liệu. Biến Y là một yếu tố. Không có NaN, Inf, hoặc NA trong tập dữ liệu của tôi. Tuy nhiên, khi chạy rừng ngẫu nhiên, tôi nhận được Error in …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Tôi đã rất ấn tượng với kết quả trong bài báo " Các đại diện phân phát về câu và tài liệu " của ICML 2014 của Le và Mikolov. Kỹ thuật mà họ mô tả, được gọi là "vectơ đoạn", học các biểu diễn không được giám sát của …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Tôi đã cố gắng hết sức để hiểu khái niệm lấy mẫu âm trong ngữ cảnh của word2vec. Tôi không thể tiêu hóa ý tưởng lấy mẫu [âm]. Ví dụ, trong các bài báo của Mikolov, kỳ vọng lấy mẫu âm tính được xác định là đăng nhậpσ( ⟨ W …

19 machine-learning  word2vec  word-embeddings 

Tôi tự hỏi tại sao Skip-gram tốt hơn cho các từ không thường xuyên hơn CBOW trong word2vec. Tôi đã đọc khiếu nại trên https://code.google.com.vn/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Làm thế nào là lớp nhúng được đào tạo trong lớp nhúng Keras? (nói sử dụng phụ trợ kéo căng, nghĩa là nó tương tự như word2vec, găng tay hoặc fasttext) Giả sử chúng tôi không sử dụng nhúng nhúng trước.

14 deep-learning  keras  word-embeddings 

Tôi tự hỏi tại sao softmax phân cấp lại tốt hơn cho các từ không thường xuyên, trong khi lấy mẫu âm sẽ tốt hơn cho các từ thường xuyên, trong các mô hình CBOW và bỏ qua gram của word2vec. Tôi đã đọc khiếu nại trên https://code.google.com.vn/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Tôi gặp vấn đề trong việc hiểu mô hình bỏ qua của thuật toán Word2Vec. Trong các từ liên tục có thể dễ dàng thấy các từ ngữ cảnh có thể "khớp" trong Mạng thần kinh như thế nào, vì về cơ bản, bạn trung bình chúng sau khi nhân …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Tôi đang cố gắng nhúng khoảng 60 triệu cụm từ vào một không gian vectơ , sau đó tính toán độ tương tự cosin giữa chúng. Tôi đã sử dụng sklearn CountVectorizervới chức năng mã thông báo được xây dựng tùy chỉnh để tạo unigram và bigram. Hóa ra để …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Tôi rất mới với từ nhúng. Tôi muốn hình dung làm thế nào các tài liệu đang tìm kiếm sau khi học. Tôi đọc rằng t-SNE là cách tiếp cận để làm điều đó. Tôi có 100K tài liệu với 250 kích thước như kích thước của nhúng. Có một …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Một cách để tạo ra các từ nhúng như sau ( gương ): Nhận một tập đoàn, ví dụ: "Tôi thích bay. Tôi thích NLP. Tôi thích học sâu." Xây dựng ma trận cooccurrence từ nó: Thực hiện SVD trên và giữ các cột đầu tiên của U.XXXkkk Mỗi hàng …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Tôi đang gặp khó khăn để hiểu câu này: Kiến trúc được đề xuất đầu tiên tương tự như NNLM tiếp theo, trong đó lớp ẩn phi tuyến tính được loại bỏ và lớp chiếu được chia sẻ cho tất cả các từ (không chỉ ma trận chiếu); do đó, …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models