Bạn làm gì khi không có điểm khuỷu tay để phân cụm

Tôi đã học được rằng khi chọn một số cụm, bạn nên tìm một điểm khuỷu tay cho các giá trị khác nhau của K. Tôi đã vẽ các giá trị của các giá trị cho các giá trị của k từ 1 đến 10, nhưng tôi không thấy rõ khuỷu tay. Bạn làm gì trong trường hợp như thế này?

Phương pháp sai?

Có thể bạn đang sử dụng thuật toán sai cho vấn đề của bạn.

Sai tiền xử lý?

K-nghĩa là rất nhạy cảm với tiền xử lý. Nếu một thuộc tính ở quy mô lớn hơn nhiều so với các thuộc tính khác, nó sẽ chiếm ưu thế đầu ra. Đầu ra của bạn sau đó sẽ có hiệu quả 1 chiều

Hình dung kết quả

Dù bạn làm gì, bạn cần xác nhận kết quả của mình bằng một cái gì đó ngoài việc bắt đầu từ một số như SSQ. Thay vào đó, hãy xem xét trực quan .

Trực quan cũng có thể cho bạn biết rằng có thể chỉ có một cụm duy nhất trong dữ liệu của bạn.

Một cách là kiểm tra thủ công các thành viên trong cụm của bạn để tìm một k cụ thể để xem các nhóm có hợp lý không (chúng có thể phân biệt được không?). Điều này có thể được thực hiện thông qua các bảng dự phòng và phương tiện có điều kiện. Làm điều này cho nhiều loại k và bạn có thể xác định giá trị nào là phù hợp.

Một cách ít chủ quan hơn là sử dụng Giá trị Silhouette:

/programming/18285434/how-do-i-choose-k-when-USE-k-means-clustering-with-sil Silhouette-feft

Điều này có thể được tính toán với gói phần mềm yêu thích của bạn. Từ liên kết:

Phương pháp này chỉ so sánh sự tương đồng giữa các nhóm với sự tương tự nhóm gần nhất. Nếu bất kỳ khoảng cách trung bình thành viên dữ liệu nào với các thành viên khác trong cùng cụm cao hơn khoảng cách trung bình với một số thành viên cụm khác, thì giá trị này là âm và phân cụm không thành công. Mặt khác, các giá trị silhuette gần bằng 1 biểu thị hoạt động phân cụm thành công. 0,5 không phải là một biện pháp chính xác để phân cụm.

• Không có khuỷu tay trong K-nghĩa không có nghĩa là không có cụm trong dữ liệu;
• Không có khuỷu tay có nghĩa là thuật toán được sử dụng không thể tách các cụm; (nghĩ về K-nghĩa cho các vòng tròn đồng tâm, so với DBSCAN)

Nói chung, bạn có thể xem xét:

• điều chỉnh thuật toán của bạn;
• sử dụng thuật toán khác;
• làm tiền xử lý dữ liệu.

Chúng ta có thể sử dụng gói NbClust để tìm giá trị tối ưu nhất của k. Nó cung cấp 30 chỉ số để xác định số lượng cụm và đề xuất kết quả tốt nhất.

NbClust (data = df, distance = "euclidean", min.nc = 2, max.nc = 15, method = "kmeans", index = "all")