Thống kê và dữ liệu lớn text-mining

2

Làm thế nào để tính toán sự lúng túng của việc nắm giữ với Phân bổ Dirichlet tiềm ẩn?

Tôi bối rối về cách tính toán sự lúng túng của một mẫu nắm giữ khi thực hiện Phân bổ Dirichlet tiềm ẩn (LDA). Các bài viết về chủ đề này khoe về nó, khiến tôi nghĩ rằng tôi đang thiếu một cái gì đó rõ ràng ... Perplexity được …

18 text-mining topic-models

5

Phân loại văn bản quy mô lớn

Tôi đang tìm cách phân loại dữ liệu văn bản của tôi. Tôi có 300 classes, 200 tài liệu đào tạo mỗi lớp (vì vậy 60000 documents in total) và điều này có khả năng dẫn đến dữ liệu rất cao (chúng ta có thể đang tìm kiếm vượt quá …

18 machine-learning classification text-mining

1

Tôi muốn xây dựng một chỉ số tội phạm và chỉ số bất ổn chính trị dựa trên những câu chuyện tin tức

Tôi có dự án phụ này, nơi tôi thu thập dữ liệu các trang web tin tức địa phương ở nước tôi và muốn xây dựng một chỉ số tội phạm và chỉ số bất ổn chính trị. Tôi đã bao gồm phần lấy thông tin của dự án. Kế …

17 machine-learning classification text-mining

1

Các tham số đầu vào để sử dụng phân bổ Dirichlet tiềm ẩn

Khi sử dụng mô hình chủ đề (Phân bổ Dirichlet tiềm ẩn), số lượng chủ đề là một tham số đầu vào mà người dùng cần chỉ định. Theo tôi, chúng ta cũng nên cung cấp một tập hợp các chủ đề ứng cử viên mà quy trình Dirichlet phải …

17 machine-learning bayesian clustering text-mining dirichlet-distribution

2

Tại sao phân loại hồi quy sườn núi hoạt động khá tốt để phân loại văn bản?

Trong một thử nghiệm để phân loại văn bản, tôi đã tìm thấy trình phân loại sườn núi tạo ra kết quả liên tục đứng đầu các bài kiểm tra trong số các trình phân loại thường được đề cập và áp dụng cho các tác vụ khai thác văn …

17 machine-learning classification text-mining ridge-regression

1

Dự đoán chủ đề bằng cách sử dụng phân bổ Dirichlet tiềm ẩn

Tôi đã sử dụng LDA trên một kho tài liệu và tìm thấy một số chủ đề. Đầu ra của mã của tôi là hai ma trận chứa xác suất; một xác suất chủ đề tài liệu và xác suất chủ đề từ khác. Nhưng tôi thực sự không biết …

17 text-mining topic-models

2

Khi nào chúng ta kết hợp giảm kích thước với phân cụm?

Tôi đang cố gắng thực hiện phân cụm cấp độ tài liệu. Tôi đã xây dựng ma trận tần số tài liệu thuật ngữ và tôi đang cố gắng phân cụm các vectơ chiều cao này bằng phương tiện k. Thay vì phân cụm trực tiếp, điều tôi đã làm …

16 clustering pca dimensionality-reduction text-mining svd

2

Một phương pháp tốt để phân cụm văn bản ngắn là gì?

Tôi đang làm việc trên một vấn đề cụm văn bản. Dữ liệu chứa một số câu. Có một thuật toán tốt đạt độ chính xác cao trên văn bản ngắn? Bạn có thể cung cấp tài liệu tham khảo tốt? Các thuật toán như KMeans, cụm phổ không hoạt …

15 machine-learning clustering text-mining

4

Khai thác văn bản: làm thế nào để phân cụm các văn bản (ví dụ như các bài báo) với trí tuệ nhân tạo?

Tôi đã xây dựng một số mạng thần kinh (MLP (được kết nối đầy đủ), Elman (định kỳ)) cho các tác vụ khác nhau, như chơi trò chơi điện tử, phân loại chữ số viết tay và công cụ ... Ngoài ra, tôi đã cố gắng xây dựng một số …

15 clustering neural-networks feature-selection text-mining self-organizing-maps

3

Sự khác biệt giữa phân tích ngữ nghĩa tiềm ẩn (LSA), lập chỉ mục ngữ nghĩa tiềm ẩn (LSI) và phân rã giá trị số ít (SVD) là gì?

Những thuật ngữ này bị ném xung quanh nhau rất nhiều, nhưng tôi muốn biết bạn nghĩ sự khác biệt là gì, nếu có. Cảm ơn

15 pca text-mining svd

5

Làm thế nào để làm phân loại văn bản một lớp?

Tôi phải đối phó với một vấn đề phân loại văn bản. Trình thu thập dữ liệu web thu thập dữ liệu các trang web của một tên miền nhất định và đối với mỗi trang web tôi muốn tìm hiểu xem nó có thuộc về một lớp cụ thể …

14 classification text-mining naive-bayes binary-data

3

Mô hình chủ đề cho các tài liệu ngắn

Lấy cảm hứng từ câu hỏi này , tôi tự hỏi liệu có bất kỳ công việc nào đã được thực hiện trên các mô hình chủ đề cho các bộ sưu tập lớn các văn bản cực ngắn. Trực giác của tôi là Twitter nên là nguồn cảm hứng …

14 references text-mining topic-models natural-language

2

Ví dụ về khai thác văn bản với R (gói tm)

Tôi đã dành ba ngày để tìm tmhiểu sau khi đọc một bản thảo của một người bạn nơi anh ta khám phá một văn bản văn bản với UCINET, hiển thị các đám mây văn bản, đồ thị mạng hai chế độ và Phân tích giá trị đơn (với …

14 r text-mining

2

Tại n làm gì n-gram trở nên phản tác dụng?

Khi thực hiện xử lý ngôn ngữ tự nhiên, người ta có thể lấy một kho văn bản và đánh giá xác suất của từ tiếp theo xảy ra trong một chuỗi n. n thường được chọn là 2 hoặc 3 (bigram và trigram). Có một điểm đã biết mà …

13 text-mining natural-language

1

Trích xuất từ khóa tự động: sử dụng tính tương tự cosine làm tính năng

Tôi đã có một ma trận thuật ngữ tài liệu MMM và bây giờ tôi muốn trích xuất từ khóa cho mỗi tài liệu bằng phương pháp học có giám sát (SVM, Naive Bayes, ...). Trong mô hình này, tôi đã sử dụng Tf-idf, thẻ Pos, ... Nhưng bây giờ …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

Câu hỏi được gắn thẻ «text-mining»