Tại sao chỉ có giá trị trung bình được sử dụng trong phương pháp phân cụm (K-mean)?

Trong các phương pháp phân cụm như K- mean, khoảng cách euclide là số liệu cần sử dụng. Do đó, chúng tôi chỉ tính các giá trị trung bình trong mỗi cụm. Và sau đó điều chỉnh được thực hiện trên các yếu tố dựa trên khoảng cách của chúng với từng giá trị trung bình.

Tôi đã tự hỏi tại sao hàm Gaussian không được sử dụng làm số liệu? Thay vì sử dụng xi -mean(X), chúng ta có thể sử dụng exp(- (xi - mean(X)).^2/std(X).^2). Do đó, không chỉ độ tương tự giữa các cụm được đo (trung bình), mà độ tương tự trong cụm cũng được xem xét (std). Đây có phải cũng tương đương với mô hình hỗn hợp Gaussian ?

Nó nằm ngoài câu hỏi của tôi ở đây nhưng tôi nghĩ rằng sự thay đổi trung bình có thể phát sinh cùng một câu hỏi ở trên.

Có hàng ngàn biến thể k-nghĩa . Bao gồm phép gán mềm, phương sai và hiệp phương sai (thường được gọi là thuật toán mô hình hỗn hợp Gaussian hoặc thuật toán EM).

Tuy nhiên, tôi muốn chỉ ra một vài điều:

• K-mean không dựa trên khoảng cách Euclide. Nó dựa trên sự giảm thiểu phương sai . Vì phương sai là tổng của khoảng cách Euclide bình phương, nên phép gán phương sai tối thiểu là phương sai có Euclide bình phương nhỏ nhất và hàm căn bậc hai là đơn điệu. Vì lý do hiệu quả, thực sự thông minh hơn khi không tính khoảng cách Euclide (nhưng sử dụng các hình vuông)

• Nếu bạn cắm một hàm khoảng cách khác vào k-có nghĩa là nó có thể ngừng hội tụ. Bạn cần giảm thiểu cùng một tiêu chí trong cả hai bước ; bước thứ hai là tính toán lại các phương tiện. Ước tính trung tâm sử dụng trung bình số học là một ước lượng bình phương nhỏ nhất và nó sẽ giảm thiểu phương sai. Vì cả hai hàm đều giảm thiểu phương sai, nên phương tiện k phải hội tụ. Nếu bạn muốn đảm bảo hội tụ với các khoảng cách khác, hãy sử dụng PAM (phân vùng xung quanh các medoid. Các medoid giảm thiểu khoảng cách trong cụm cho các hàm khoảng cách tùy ý.)

Nhưng cuối cùng, phương tiện k và tất cả các biến thể của nó là IMHO tối ưu hóa hơn (hay chính xác hơn là thuật toán lượng tử hóa vectơ ) hơn là thuật toán phân tích cụm. Họ sẽ không thực sự "khám phá" cấu trúc. Họ sẽ massage dữ liệu của bạn vào k phân vùng. Nếu bạn cung cấp cho họ dữ liệu thống nhất, không có cấu trúc nào ngoài tính ngẫu nhiên, k-mean vẫn sẽ tìm thấy tuy nhiên nhiều "cụm" bạn muốn nó tìm thấy. k-mean hài lòng với kết quả trả về cơ bản là ngẫu nhiên .

Có rất nhiều kỹ thuật phân cụm khác nhau, và K-nghĩa chỉ là một cách tiếp cận. Như DL Dahly đã nhận xét, thuật toán EM có thể được sử dụng để phân cụm theo nhiều cách bạn mô tả. Điều đáng chú ý là sự khác biệt chính giữa phương tiện K và sử dụng EM với mô hình hỗn hợp guassian để phân cụm là hình dạng của các cụm: trung tâm vẫn sẽ gần đúng trung bình của các điểm trong nhóm, nhưng phương tiện K sẽ cho cụm hình cầu trong khi một hạt nhân gaussian sẽ cho một ellipsoid.

Phân cụm phân cấp sử dụng một cách tiếp cận hoàn toàn khác nhau. Phân cụm dựa trên mật độ được thúc đẩy bởi một heuristic tương tự như phân cụm dựa trên trung bình, nhưng rõ ràng cho kết quả khác nhau. Có rất nhiều kỹ thuật phân cụm không xem xét bất kỳ loại trung bình nào.

Thực sự khi nói đến nó, sự lựa chọn của thuật toán là một chức năng của miền vấn đề và thử nghiệm (tức là xem những gì hoạt động).