Câu hỏi được gắn thẻ «natural-language»

Cố gắng để hiểu mối quan hệ giữa entropy chéo và bối rối. Nói chung cho một mô hình M , Perplexity (M) = 2 ^ entropy (M) . Có mối quan hệ này giữ cho tất cả các n-gram khác nhau, tức là unigram, bigram, vv?

10 natural-language  entropy  perplexity 

Theo tài liệu của removeSparseTermschức năng từ tmgói, đây là những gì thưa thớt đòi hỏi: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix contains only …

10 r  text-mining  natural-language 

Ví dụ: Tôi có một câu trong mô tả công việc: "Kỹ sư cao cấp Java ở Anh". Tôi muốn sử dụng một mô hình học tập sâu để dự đoán nó thành 2 loại: English và IT jobs. Nếu tôi sử dụng mô hình phân loại truyền thống, nó …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Sách giáo khoa của tôi liệt kê idf là ở đâul o g( 1 + Nnt)tôiog(1+Nnt)log(1+\frac{N}{n_t}) NNN : Số lượng tài liệu ntntn_t : Số tài liệu có chứa thuật ngữttt Wikipedia liệt kê công thức này dưới dạng phiên bản được làm mịn của thực tế . Điều đó …

9 text-mining  natural-language  smoothing 

Câu hỏi của tôi nói chung là về Phân tách giá trị số đơn (SVD), và đặc biệt là về lập chỉ mục ngữ nghĩa tiềm ẩn (LSI). Nói rằng, tôi có có tần số 5 từ cho 7 tài liệu.Aword×do c u m e n tAword×document A_{word \times document} …

9 r  svd  natural-language  latent-semantic-indexing 

Tôi không chắc liệu câu hỏi này có hoàn toàn phù hợp ở đây không, nếu không, xin vui lòng xóa. Tôi là một sinh viên tốt nghiệp kinh tế. Đối với một dự án điều tra các vấn đề về bảo hiểm xã hội, tôi có quyền truy cập …

9 machine-learning  data-mining  econometrics  text-mining  natural-language 

Ban đầu tôi đã hỏi điều này trên stack stack và được chuyển đến trang web này, vì vậy ở đây: Tôi đang thực hiện một số phương pháp tổng hợp tài liệu dựa trên lựa chọn / trích xuất nội dung và tôi bối rối về những gì sách …

9 natural-language  text-summarization 

Tôi đang đọc bài viết này: dịch giả skype nơi họ sử dụng CD-DNN-HMM (Mạng lưới thần kinh sâu phụ thuộc bối cảnh với các mô hình Markov ẩn). Tôi có thể hiểu ý tưởng của dự án và kiến ​​trúc mà họ đã thiết kế nhưng tôi không hiểu …

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

Trong các mô hình CBOW và Skip-gram của word2vec, việc chọn vectơ từ từ (ma trận từ đầu vào) so với việc chọn vectơ từ từ (ma trận từ đầu ra) ảnh hưởng đến chất lượng của vectơ từ kết quả như thế nào?W 'WWWW′W′W' CBOW: Bỏ qua gram:

9 neural-networks  natural-language  word2vec  word-embeddings 

Tôi muốn đào tạo một mạng lưới thần kinh với một chuỗi ký tự như một vector đầu vào. Các ví dụ học tập có độ dài khác nhau và vì lý do này, tôi không biết cách thể hiện chúng. Hãy nói rằng tôi có hai ví dụ về …

9 machine-learning  neural-networks  feature-selection  natural-language 

Tôi muốn thực hiện phân tích tình cảm trên văn bản, đã trải qua một số bài viết, một số trong số họ đang sử dụng "Naive Bayes" và một số khác là "Mạng thần kinh tái phát (LSTM)" , mặt khác tôi đã thấy một thư viện python để …

8 machine-learning  neural-networks  python  natural-language 

Tôi đang tính toán một số xác suất có điều kiện và liên quan đến khoảng tin cậy 95%. Đối với nhiều trường hợp của tôi, tôi có đếm đơn giản của xnhững thành công ra khỏi nthử nghiệm (từ một bảng dự phòng), vì vậy tôi có thể sử …

8 r  bayesian  confidence-interval  conditional-probability  hidden-markov-model  segmentation  hypothesis-testing  statistical-significance  multiple-comparisons  multiple-regression  r  regression  survey  sample  finite-population  pca  model-selection  dataset  partitioning  clustering  time-series  least-squares  regression  standard-error  causality  r  time-series  outliers  missing-data  machine-learning  svm  hypothesis-testing  discrete-data  r  data-visualization  survey  likert  finance  regression  pca  feature-selection  stepwise-regression  underdetermined  svm  natural-language 

Trong nhiều ứng dụng xử lý ngôn ngữ tự nhiên như sửa lỗi chính tả, dịch máy và nhận dạng giọng nói, chúng tôi sử dụng các mô hình ngôn ngữ. Các mô hình ngôn ngữ được tạo ra thường bằng cách đếm tần suất các chuỗi từ (n-gram) xuất …

8 distributions  modeling  natural-language  language-models 

Tôi đã đọc bài viết này của Michael Honiball (người tạo ra Spacy) trong đó anh ấy nói về vấn đề 'Sự lãng quên thảm khốc' . Ở đây, ông nói rằng khi chúng tôi muốn tinh chỉnh một mô hình được đào tạo trước để thêm nhãn mới hoặc …

8 deep-learning  natural-language 

Tôi đã đọc mô hình word2vec tiêu chuẩn / nổi tiếng và theo ghi chú của standord cho cs224n , hàm mục tiêu thay đổi từ: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c + 2m log \left( \sum^{|V|}_{k=1} exp(u^{\top}_k v_c) \right) đến: JNS1=−logσ(u⊤c−m+jvc)−∑k=1Klogσ(−u⊤kvc)JNS1=−logσ(uc−m+j⊤vc)−∑k=1Klogσ(−uk⊤vc)J_{NS1} = -log \sigma( u^\top_{c-m+j} v_c ) - \sum^{K}_{k=1} …

8 neural-networks  deep-learning  natural-language  word2vec  word-embeddings