Phân cụm dữ liệu 1D

Tôi có một tập dữ liệu, tôi muốn tạo các cụm trên dữ liệu đó chỉ dựa trên một biến (không có giá trị nào bị thiếu). Tôi muốn tạo 3 cụm dựa trên một biến đó.

Những thuật toán phân cụm để sử dụng, k-nghĩa, EM, DBSCAN, vv?

Câu hỏi chính của tôi là, trong trường hợp nào tôi nên sử dụng phương tiện k trên EM hoặc EM hơn phương tiện k?

Thuật toán K-mean và thuật toán EM sẽ khá giống nhau cho phân cụm 1D.

Trong K-nghĩa là bạn bắt đầu với việc đoán phương tiện ở đâu và gán từng điểm cho cụm với giá trị trung bình gần nhất, sau đó bạn tính lại phương tiện (và phương sai) dựa trên các điểm gán hiện tại, sau đó cập nhật phân tích điểm, sau đó cập nhật ý nghĩa ...

Trong EM, bạn cũng sẽ bắt đầu đoán xem phương tiện ở đâu, sau đó bạn tính giá trị dự kiến ​​của các bài tập (về cơ bản là xác suất của mỗi điểm trong mỗi cụm), sau đó bạn cập nhật phương tiện ước tính (và phương sai) bằng cách sử dụng các giá trị dự kiến như trọng số, sau đó tính toán các giá trị dự kiến ​​mới, sau đó tính toán các phương tiện mới, ...

Sự khác biệt chính là việc gán điểm cho các cụm trong K-mean là tất cả hoặc không có gì, trong đó EM đưa ra tỷ lệ / xác suất thành viên nhóm (một điểm có thể được xem là có xác suất 80% trong nhóm A, xác suất 18% thuộc nhóm B và xác suất 2% vào nhóm C). Nếu có nhiều sự tách biệt giữa các nhóm thì 2 phương pháp sẽ cho kết quả khá giống nhau. Nhưng nếu có một số lượng trùng lặp khá lớn thì EM có thể sẽ cho kết quả có ý nghĩa hơn (thậm chí nhiều hơn nếu phương sai / độ lệch chuẩn được quan tâm). Nhưng nếu tất cả những gì bạn quan tâm là chỉ định thành viên nhóm mà không quan tâm đến các tham số, thì K-mean có lẽ đơn giản hơn.

Tại sao không làm cả hai và xem các câu trả lời khác nhau như thế nào? nếu chúng giống nhau thì đi với cái đơn giản hơn, nếu chúng khác nhau thì quyết định so sánh việc phân nhóm với dữ liệu và kiến ​​thức bên ngoài.

EM tốt hơn k-mean về kết quả.

K-nghĩa là, tuy nhiên, có thời gian chạy nhanh hơn.

Chúng sẽ tạo ra kết quả tương tự nếu độ lệch chuẩn / ma trận hiệp phương sai xấp xỉ bằng nhau. Nếu bạn nghi ngờ điều này là đúng, hãy sử dụng phương tiện k.

DBSCAN được sử dụng khi dữ liệu không phải là gaussian. Nếu bạn đang sử dụng dữ liệu 1 chiều, điều này thường không áp dụng được, vì xấp xỉ gaussian thường có giá trị trong 1 chiều.

Một cách đơn giản khác là về cơ bản sử dụng sắp xếp mảng 1D: tức là lặp qua từng điểm và lấy các giá trị ở khoảng cách tối thiểu từ nó theo cả hai hướng tích cực và tiêu cực. Ví dụ:

data = [1,2,3,4,5,6,7,8,9,10,12]
k = 5
for a in data:
   print {'group': sorted(k, key=lambda n: abs(n-a))[0:k], 'point': a}

sẽ đưa ra:

{'group': [1, 2, 3, 4, 5], 'point': 1}
{'group': [2, 1, 3, 4, 5], 'point': 2}
{'group': [3, 2, 4, 1, 5], 'point': 3}
{'group': [4, 3, 5, 2, 6], 'point': 4}
{'group': [5, 4, 6, 3, 7], 'point': 5}
{'group': [6, 5, 7, 4, 8], 'point': 6}
{'group': [7, 6, 8, 5, 9], 'point': 7}
{'group': [8, 7, 9, 6, 10], 'point': 8}
{'group': [9, 8, 10, 7, 6], 'point': 9}
{'group': [10, 9, 8, 12, 7], 'point': 10}
{'group': [12, 10, 9, 8, 7], 'point': 12}

Những điểm nào, rằng các mục gần với một điểm cụ thể về cơ bản thuộc nhóm của nó. Điều duy nhất cần suy ngẫm trong kỹ thuật này là biến k, là kích thước cố định của cụm :-).

Nếu chỉ có một biến, không cần phân cụm. Bạn có thể dễ dàng nhóm các quan sát của mình dựa trên phân phối của biến.

Hay tôi đang thiếu một số điểm ở đây?