Chọn số lượng cụm - tiêu chí xác thực phân cụm so với các xem xét lý thuyết miền

Tôi thường phải đối mặt với vấn đề phải chọn ak số cụm. Phân vùng tôi kết thúc thường chọn dựa trên mối quan tâm về mặt lý thuyết và hình ảnh hơn là tiêu chí chất lượng.

Tôi có hai câu hỏi chính.

Đầu tiên liên quan đến ý tưởng chung về chất lượng cụm. Từ những gì tôi hiểu các tiêu chí, chẳng hạn như "khuỷu tay", đang đề xuất một giá trị tối ưu liên quan đến hàm chi phí. Vấn đề tôi có với khung này là các tiêu chí tối ưu không được xem xét về mặt lý thuyết, do đó có một số mức độ phức tạp (liên quan đến lĩnh vực nghiên cứu của bạn) luôn muốn trong các nhóm / cụm cuối cùng của bạn.

Hơn nữa, như được giải thích ở đây , giá trị tối ưu cũng liên quan đến các ràng buộc "mục đích hạ nguồn" (chẳng hạn như các hạn chế kinh tế), vì vậy hãy xem xét những gì bạn sẽ làm với các vấn đề phân cụm.

Một ràng buộc rõ ràng là một mặt phải tìm các cụm có ý nghĩa / có thể giải thích được, và bạn càng có nhiều cụm thì càng khó diễn giải chúng.

Nhưng điều này không phải lúc nào cũng đúng, tôi thường thấy rằng 8, 10 hoặc 12 cụm là số cụm "thú vị" tối thiểu tôi muốn có trong phân tích của mình.

Tuy nhiên, rất thường các tiêu chí như khuỷu tay gợi ý các cụm ít hơn nhiều, thường là 2,3 hoặc 4.

Q1 . Những gì tôi muốn biết là dòng đối số tốt nhất là gì khi bạn quyết định chọn nhiều cụm hơn là giải pháp được đề xuất bởi một tiêu chí nhất định (chẳng hạn như khuỷu tay). Theo trực giác, càng luôn phải tốt hơn khi không có ràng buộc (chẳng hạn như mức độ thông minh của các nhóm bạn nhận được hoặc trong ví dụ coursera khi bạn có một khoản tiền rất lớn). Làm thế nào bạn sẽ tranh luận điều này trong một bài báo tạp chí khoa học?

Một cách khác để nói điều này, là để nói rằng một khi bạn đã xác định số lượng cụm tối thiểu (với các tiêu chí này), bạn thậm chí có nên giải thích lý do tại sao bạn chọn nhiều cụm hơn thế không? Không nên biện minh chỉ khi chọn số lượng cụm có ý nghĩa tối thiểu?

Q2 . Liên quan, tôi không hiểu làm thế nào các biện pháp chất lượng nhất định, chẳng hạn như hình bóng, thực sự có thể giảm khi số lượng cụm tăng lên. Tôi không thấy trong hình bóng một hình phạt cho số lượng cụm, vậy làm thế nào điều này có thể? Về mặt lý thuyết, bạn càng có nhiều cụm thì chất lượng cụm càng lớn ?

# R code 

library(factoextra)

data("iris")
ir = iris[,-5]

# Hierarchical Clustering, Ward.D
# 5 clusters
ec5  = eclust(ir, FUNcluster = 'hclust', hc_metric = 'euclidean', 
              hc_method = 'ward.D', graph = T, k = 5)
# 20 clusters
ec20 = eclust(ir, FUNcluster = 'hclust', hc_metric = 'euclidean', 
              hc_method = 'ward.D', graph = T, k = 20)

a = fviz_silhouette(ec5)  # silhouette plot
b = fviz_silhouette(ec20) # silhouette plot

c = fviz_cluster(ec5)  # scatter plot
d = fviz_cluster(ec20) # scatter plot

grid.arrange(a,b,c,d)

Các khóa đang tìm các cụm có ý nghĩa và những gì bạn đánh giá cao trong các cụm kết quả.

Hãy để tôi minh họa bằng một ví dụ đơn giản. Ví dụ là hai cụm Gaussian được phân tách khá tốt. Sử dụng phương tiện k để phân chia dữ liệu thành 2 hoặc 3 cụm, chúng tôi nhận được các phân vùng này:

set.seed(1066)
x = c(rnorm(200,0,1), rnorm(200,6,1))
y = rnorm(400,0,1)
XY = data.frame(x,y)

KM2 = kmeans(XY, 2)
KM3 = kmeans(XY, 3)

par(mfrow=c(1,2))
plot(XY, pch=20, col=KM2$cluster+1, asp=1)
plot(XY, pch=20, col=KM3$cluster+1, asp=1)

Silhouette nói rằng bạn tốt hơn với hai cụm chứ không phải ba.

library(cluster)
plot(silhouette(KM2$cluster, dist(XY)))
plot(silhouette(KM3$cluster, dist(XY)))

Nó rất hữu ích để xem tại sao hình bóng đi xuống. Trước hết, dễ dàng nhận thấy rằng đối với cụm bên phải, hình bóng hầu như không thay đổi. Lý do cho sự sụt giảm lớn trong hình bóng trung bình là cụm bên trái đã bị chia làm hai. Tại sao không có hình bóng như vậy? Như tôi đã nói, bạn cần xem xét những gì số liệu ủng hộ. Đối với mỗi điểm, hình bóng so sánh khoảng cách trung bình giữa điểm đó và các điểm khác trong cùng một cụm với khoảng cách trung bình giữa điểm đó và cụm khác gần nhất. Khi có hai cụm, các điểm trong mỗi cụm được tách biệt tốt với cụm khác. Không phải như vậy với ba cụm. Các điểm trong hai cụm bên trái là phải đối diện với nhau. Đó là cách số liệu có thể đi xuống. Silhouette không chỉ thưởng cho các cụm trong đó các điểm trong cụm gần nhau; nó cũng trừng phạt các cụm không tách biệt với nhau.

Vì vậy, đó là "mục đích hạ lưu". Có những lúc có các cụm phân tách tốt không quá quan trọng. Ví dụ: bạn có thể sử dụng phân cụm k-nghĩa trên các màu trong ảnh để nhóm các màu tương tự để nén ảnh. Trong trường hợp đó, miễn là mỗi cụm là nhất quán hợp lý (nhỏ gọn), không có vấn đề gì nếu đôi khi hai cụm có thể gần nhau. Tuy nhiên, mọi người thường sử dụng phân cụm như một cách để hiểu cấu trúc cơ bản hơn trong dữ liệu của họ. Ví dụ, trong ví dụ hai Gaussian ở trên, hai cụm cho thấy cấu trúc bên dưới tốt hơn ba cụm. Nếu bạn đang tìm kiếm cấu trúc, bạn muốn số lượng cụm đại diện gần nhất cho các nhóm tự nhiên trong dữ liệu của bạn. Nhưng đây là hai mục tiêu khác nhau:

1. một nhóm các điểm trong đó các điểm trong cùng một cụm nằm gần nhau và

2. một nhóm cũng phân tách các cụm khác nhau

Đối số của bạn rằng nhiều cụm nên luôn luôn tốt hơn là được miễn là bạn chỉ muốn các điểm trong cùng một cụm được đóng. Nhưng điều đó không tốt nếu bạn đang cố gắng khám phá cấu trúc cơ bản. Cấu trúc là những gì có trong dữ liệu. Lấy một cụm và gọi nó là hai cụm không phải là một sự cải tiến.

Lưu ý rằng, xác nhận chéo cũng có thể được sử dụng trong vấn đề phân cụm.

Ví dụ, trong K có nghĩa là, việc tăng số lượng cụm sẽ luôn làm giảm mục tiêu chúng ta đang phù hợp. Một trường hợp cực đoan sẽ là số cụm bằng số điểm dữ liệu và mục tiêu là$0$. Nhưng đó là một mô hình quá mức và sẽ thất bại trên bộ thử nghiệm.

Đề nghị của tôi là kiểm tra "thước đo chất lượng phân cụm" trên bộ dữ liệu thử nghiệm.