Phân cụm một danh sách dài các chuỗi (từ) thành các nhóm tương tự

Tôi có một vấn đề sau: Tôi có một danh sách rất dài các từ, có thể là tên, họ, v.v. Tôi cần phải phân cụm danh sách từ này, sao cho các từ tương tự, ví dụ các từ có khoảng cách chỉnh sửa tương tự (Levenshtein) xuất hiện trong cùng cụm. Ví dụ: "thuật toán" và "alogrithm" sẽ có cơ hội cao xuất hiện trong cùng một cụm.

Tôi nhận thức rõ về các phương pháp phân cụm không giám sát cổ điển như phân cụm k-nghĩa, phân cụm EM trong tài liệu Nhận dạng mẫu. Vấn đề ở đây là các phương thức này hoạt động trên các điểm nằm trong không gian vectơ. Tôi có lời của chuỗi trong tay của tôi ở đây. Dường như, câu hỏi làm thế nào để biểu diễn các chuỗi trong một không gian vectơ số và tính toán "phương tiện" của các cụm chuỗi không được trả lời đầy đủ, theo những nỗ lực khảo sát của tôi cho đến bây giờ. Một cách tiếp cận ngây thơ để tấn công vấn đề này sẽ là kết hợp phân cụm k-Means với khoảng cách Levenshtein, nhưng câu hỏi vẫn là "Làm thế nào để biểu diễn" nghĩa là "của chuỗi?". Có một trọng số được gọi là trọng số TF-IDF, nhưng dường như nó chủ yếu liên quan đến khu vực phân cụm "tài liệu văn bản", không dành cho việc phân cụm các từ đơn lẻ. http://pike.psu.edu/cleandb06/ con /CameraReady_120.pdf

Tìm kiếm của tôi trong lĩnh vực này vẫn đang diễn ra, nhưng tôi cũng muốn lấy ý tưởng từ đây. Bạn muốn làm gì trong trường hợp này, có ai biết về bất kỳ phương pháp nào cho loại vấn đề này không?

Đề xuất thứ hai @ mican cho tuyên truyền ái lực .

Từ bài báo: L Frey, Brendan J. và Delbert Dueck. "Phân cụm bằng cách chuyển tin nhắn giữa các điểm dữ liệu." khoa học 315.5814 (2007): 972-976. .

Nó siêu dễ sử dụng thông qua nhiều gói. Nó hoạt động trên bất cứ thứ gì bạn có thể xác định tương tự cặp đôi. Mà bạn có thể nhận được bằng cách nhân khoảng cách Levenshtein với -1.

Tôi đã đưa ra một ví dụ nhanh bằng cách sử dụng đoạn đầu tiên của câu hỏi của bạn làm đầu vào. Trong Python 3:

import numpy as np
import sklearn.cluster
import distance

words = "YOUR WORDS HERE".split(" ") #Replace this line
words = np.asarray(words) #So that indexing with a list will work
lev_similarity = -1*np.array([[distance.levenshtein(w1,w2) for w1 in words] for w2 in words])

affprop = sklearn.cluster.AffinityPropagation(affinity="precomputed", damping=0.5)
affprop.fit(lev_similarity)
for cluster_id in np.unique(affprop.labels_):
    exemplar = words[affprop.cluster_centers_indices_[cluster_id]]
    cluster = np.unique(words[np.nonzero(affprop.labels_==cluster_id)])
    cluster_str = ", ".join(cluster)
    print(" - *%s:* %s" % (exemplar, cluster_str))

Đầu ra là (ví dụ in nghiêng ở bên trái của cụm mà chúng là mẫu của):

• có: cơ hội, chỉnh sửa, tay, có, cao
• tiếp theo: sau
• vấn đề: vấn đề
• TÔI: I, a, at, v.v., trong danh sách, của
• có thể: có thể
• cụm: cụm
• từ: Vì, và, lâu dài, cần, nên, rất, từ, từ
• giống: tương tự
• Levenshtein: Levenshtein
• khoảng cách: khoảng cách
• các: đó, cái kia, cái này, với, với
• tương tự: ví dụ, danh sách, tên, giống nhau, như vậy, họ
• thuật toán: thuật toán, thuật ngữ
• xuất hiện: xuất hiện, xuất hiện

Chạy nó trong danh sách 50 tên đầu tiên ngẫu nhiên :

• Diane: Deana, Diane, Dionne, Gerald, Irina, Lisette, Minna, Nicki, Ricki
• Jani: Clair, Jani, Jason, Jc, Kimi, Lang, Marcus, Maxima, Randi, Raul
• Verline: Destiny, Kellye, Marylin, Mercedes, Sterling, Verline
• Glenn: Elenor, Glenn, Gwenda
• Armandina: Armandina, Augustina
• Shiela: Ahmed, Estella, Milissa, Shiela, Thresa, Wynell
• Laureen: Mùa thu, Haydee, Laureen, Lauren
• Alberto: Albertha, Alberto, Robert
• Truyền thuyết : Ammie, Doreen, Eura, Josef, Lore, Lori, Porter

Trông khá tuyệt với tôi (đó là niềm vui).

Sử dụng các thuật toán phân cụm biểu đồ, chẳng hạn như phân cụm Louvain, Phân cụm tìm kiếm vùng lân cận bị hạn chế (RNSC), Phân cụm dự đoán mối quan hệ (APC) hoặc thuật toán Markov Cluster (MCL).

Bạn có thể thử mô hình không gian vectơ với n-gram của các từ làm mục nhập không gian vectơ. Tôi nghĩ rằng bạn sẽ phải sử dụng một biện pháp như độ tương tự cosine trong trường hợp này thay vì khoảng cách chỉnh sửa.