Tại sao hầu hết các điểm của tôi được phân loại là nhiễu bằng DBSCAN?

Tôi đang sử dụng một số thuật toán phân cụm từ sklearn để phân cụm một số dữ liệu và dường như không thể hiểu được chuyện gì đang xảy ra với DBSCAN. Dữ liệu của tôi là một ma trận thuật ngữ tài liệu từ TfidfVectorizer, với vài trăm tài liệu được xử lý trước.

Mã số:

tfv = TfidfVectorizer(stop_words=STOP_WORDS, tokenizer=StemTokenizer())
data = tfv.fit_transform(dataset)

db = DBSCAN(eps=eps, min_samples=min_samples)
result = db.fit_predict(data)
svd = TruncatedSVD(n_components=2).fit_transform(data)
// Set the colour of noise pts to black
for i in range(0,len(result)):
        if result[i] == -1:
            result[i] = 7
colors = [LABELS[l] for l in result]
pl.scatter(svd[:,0], svd[:,1], c=colors, s=50, linewidths=0.5, alpha=0.7)

Đây là những gì tôi nhận được cho eps = 0,5, min_samples = 5:

Về cơ bản, tôi không thể nhận được bất kỳ cụm nào trừ khi tôi đặt min_samples thành 3, điều này mang lại điều này:

Tôi đã thử kết hợp nhiều giá trị eps / min_samples và nhận được kết quả tương tự. Nó dường như luôn luôn cụm các khu vực mật độ thấp đầu tiên. Tại sao nó lại co cụm như thế này? Tôi có thể sử dụng TruncatedSVD không chính xác?

Biểu đồ phân tán các điểm chiếu SVD của dữ liệu TFIDF ban đầu cho thấy thực sự cần phát hiện một số cấu trúc mật độ. Tuy nhiên, những dữ liệu này không phải là đầu vào DBSCAN được trình bày cùng. Có vẻ như bạn đang sử dụng làm đầu vào dữ liệu TFIDF ban đầu .

Điều rất hợp lý là bộ dữ liệu TFIDF ban đầu rất thưa thớt và có chiều cao. Phát hiện các cụm dựa trên mật độ trong một miền như vậy sẽ rất đòi hỏi. Ước tính mật độ chiều cao là một vấn đề khó đúng ; đó là một kịch bản điển hình trong đó lời nguyền của chiều hướng bắt đầu. Chúng ta chỉ thấy một biểu hiện của vấn đề này ("lời nguyền"); phân cụm kết quả được trả về bởi DBSCAN khá thưa thớt và giả định (có thể sai) rằng dữ liệu trong tay bị đánh đố với các ngoại lệ.

Tôi sẽ đề nghị rằng, ít nhất là tại trường hợp đầu tiên, DBSCAN được cung cấp các điểm chiếu được sử dụng để tạo biểu đồ phân tán được hiển thị làm đầu vào. Cách tiếp cận này sẽ có hiệu quả Phân tích ngữ nghĩa tiềm ẩn (LSA). Trong LSA, chúng tôi sử dụng phân tách SVD của một ma trận chứa số lượng từ của văn bản văn bản được phân tích (hoặc ma trận tài liệu thuật ngữ chuẩn hóa như một ma trận được trả về bởi TFIDF) để điều tra các mối quan hệ giữa các đơn vị văn bản của văn bản trong tay.