Những tiêu chí dừng cho phân cụm phân cấp kết tụ được sử dụng trong thực tế?

Tôi đã tìm thấy tài liệu bao quát đề xuất tất cả các loại tiêu chí (ví dụ Glenn et al. 1985 (pdf) và Jung et al. 2002 (pdf)). Tuy nhiên, hầu hết trong số này không dễ thực hiện (ít nhất là theo quan điểm của tôi). Tôi đang sử dụng scipy.cluster.hierarchy để có được hệ thống phân cấp cụm và bây giờ tôi đang cố gắng quyết định làm thế nào để hình thành các cụm phẳng từ đó. Mục tiêu của tôi là khám phá các mô hình phổ biến trong các quan sát của tôi, vì vậy tôi không có tài liệu tham khảo để so sánh các cụm thu được với. Bất cứ ai có thể đề nghị một giải pháp thực dụng?

Mục nhập Wikipedia sau đây thực sự làm rất tốt công việc giải thích các phương pháp phổ biến nhất và tương đối đơn giản:

• Xác định số lượng cụm trong một tập dữ liệu

Các Elbow Phương pháp dựa trên kinh nghiệm mô tả ở đó có lẽ là do phổ biến nhất để giải thích đơn giản của nó (lượng phương sai giải thích bằng số cụm) kết hợp với việc kiểm tra thị giác. Các thông tin phương pháp lý thuyết là không khó để thực hiện một trong hai và trang có một số giả bạn có thể sử dụng để bắt đầu. Loại thứ hai là không phù hợp với khả năng bị phạt dựa trên mức độ phức tạp của mô hình như trong các tiêu chí thông tin nổi tiếng như AIC, BIC, v.v.

Thật khó để cung cấp một giải pháp rõ ràng về cách chọn số cụm "tốt nhất" trong dữ liệu của bạn, bất kể phương pháp phân cụm nào bạn sử dụng, bởi vì Phân tích cụm tìm cách cô lập các nhóm đơn vị thống kê (cho dù đó là cá nhân hay biến số ) cho mục đích thăm dò hoặc mô tả, về cơ bản. Do đó, bạn cũng phải giải thích đầu ra của sơ đồ phân cụm của bạn và một số giải pháp cụm có thể thú vị như nhau.

Bây giờ, liên quan đến các tiêu chí thống kê thông thường được sử dụng để quyết định khi nào nên dừng để tổng hợp dữ liệu, như được chỉ ra bởi @ars hầu hết là các tiêu chí hướng dẫn trực quan , bao gồm phân tích dendrogram hoặc kiểm tra hồ sơ cụm, còn được gọi là sơ đồ hình bóng (Rousseeuw, 1987) . Một số tiêu chí số , còn được gọi là chỉ số hiệu lực, cũng được đề xuất, ví dụ như chỉ số hiệu lực của Dunn, chỉ số hợp lệ của Davies-Bouldin, chỉ số C, gamma của Hubert, để nêu tên một số. Phân cụm theo phân cấp thường được chạy cùng với phương tiện k (trên thực tế, một số trường hợp của phương tiện k vì nó là thuật toán ngẫu nhiên), do đó, nó hỗ trợ thêm cho các giải pháp phân cụm được tìm thấy. Tôi không biết liệu tất cả những thứ này có sẵn trong Python hay không, nhưng một số lượng lớn các phương thức có sẵn trong R (xem phầnCụmChế độ xem tác vụ , đã được @mbq trích dẫn cho một câu hỏi liên quan, Công cụ nào có thể được sử dụng để áp dụng thuật toán phân cụm trên MovieLens? ). Các cách tiếp cận khác bao gồm phân cụm mờ và phân cụm dựa trên mô hình (còn được gọi là phân tích đặc điểm tiềm ẩn , trong cộng đồng tâm lý học) nếu bạn tìm kiếm cách mạnh mẽ hơn để chọn số lượng cụm trong dữ liệu của mình.

BTW, tôi vừa xem qua trang web này, cụm scipy , một phần mở rộng cho Scipy để tạo, trực quan hóa và phân tích các cụm phân cấp . Có lẽ nó bao gồm các chức năng khác? Tôi cũng đã nghe nói về PyChem cung cấp những thứ khá hay để phân tích đa biến.

Các tài liệu tham khảo sau đây cũng có thể hữu ích:

Steinley, D., & Brusco, MJ (2008). Lựa chọn các biến trong phân tích cụm: Một so sánh thực nghiệm của tám thủ tục. Tâm lý học , 73 , 125-144.

Gần đây tôi đã trở thành quỹ của phương pháp trực quan clustergram (được thực hiện trong R).

Tôi sử dụng nó cho một phương pháp bổ sung để đánh giá số cụm "tốt". Việc mở rộng nó sang các phương thức phân cụm khác không quá khó (tôi thực sự đã làm nó, chỉ không được xuất bản mã)