Thông báo sau bảng ANOVA sau phân tích K-mean chỉ ra rằng các mức ý nghĩa không nên được xem là thử nghiệm của các phương tiện bằng nhau, vì giải pháp cụm đã được rút ra dựa trên khoảng cách Euclide để tối đa hóa khoảng cách. Tôi nên sử dụng thử nghiệm nào để chỉ ra liệu phương tiện của các biến phân cụm có khác nhau giữa các cụm không? Tôi đã thấy cảnh báo này trong bảng ANOVA do k-mean cung cấp, nhưng trong một số tài liệu tham khảo tôi thấy rằng các bài kiểm tra ANOVA hậu hoc đang chạy. Tôi có nên bỏ qua các đầu ra ANOVA có nghĩa là k và chạy ANOVA một chiều với các bài kiểm tra hậu hoc và diễn giải chúng theo cách truyền thống không? Hoặc tôi chỉ có thể ngụ ý về độ lớn của giá trị F và biến nào đóng góp nhiều hơn cho sự khác biệt? Một nhầm lẫn khác là các biến phân cụm không được phân phối bình thường vi phạm giả định ANOVA, sau đó tôi có thể sử dụng thử nghiệm không tham số Kruskal-Wallis, nhưng nó có giả định về các phân phối tương tự. Các phân phối giữa các cụm cho các biến cụ thể có vẻ không giống nhau, một số bị lệch dương, một số bị phủ định ... Tôi có 1275 mẫu lớn, 5 cụm, 10 biến phân cụm được đo bằng điểm PCA.
Sự phù hợp của ANOVA sau phân tích cụm k-nghĩa
Câu trả lời:
Không!
Bạn phải không sử dụng cùng một dữ liệu đến 1) thực hiện phân nhóm và 2) săn lùng khác biệt đáng kể giữa các điểm trong cụm. Ngay cả khi không có cấu trúc thực tế trong dữ liệu, việc phân cụm sẽ áp đặt một bằng cách nhóm các điểm lại gần nhau. Điều này thu nhỏ phương sai trong nhóm và phát triển phương sai giữa các nhóm, điều này làm bạn thiên về hướng tích cực giả.
Không có gì đặc biệt về ANOVA ở đây - bạn sẽ thấy các hiệu ứng tương tự bằng cách sử dụng các xét nghiệm không tham số, hồi quy logistic, bất cứ điều gì. Nói chung, việc xác thực hiệu suất của thuật toán phân cụm là khó khăn, đặc biệt nếu dữ liệu không được dán nhãn. Tuy nhiên, có một vài cách tiếp cận để "xác nhận nội bộ" hoặc đo lường chất lượng của cụm mà không sử dụng các nguồn dữ liệu bên ngoài. Họ thường tập trung vào sự nhỏ gọn và tách biệt của các cụm. Đánh giá này của Lui et al. (2010) có thể là một nơi tốt để bắt đầu.
Vấn đề thực sự của bạn là dữ liệu rình mò. Bạn không thể áp dụng ANOVA hoặc KW nếu các quan sát được chỉ định cho các nhóm (cụm) dựa trên chính bộ dữ liệu đầu vào. Những gì bạn có thể làm là sử dụng một cái gì đó như thống kê Gap để ước tính số lượng cụm.
Mặt khác, các giá trị p được rình mò bị lệch xuống, do đó, nếu kết quả kiểm tra ANOVA hoặc KW không đáng kể, thì giá trị p "thực" thậm chí còn lớn hơn và bạn có thể quyết định hợp nhất các cụm.
Tôi nghĩ rằng bạn có thể áp dụng một cách tiếp cận như vậy (nghĩa là sử dụng số liệu thống kê, chẳng hạn như thống kê F hoặc thống kê t hoặc bất cứ điều gì), nếu bạn bỏ qua các bản phân phối null thông thường .
Những gì bạn cần làm là mô phỏng từ tình huống null của bạn là đúng, áp dụng toàn bộ quy trình (phân cụm, v.v.), sau đó tính toán thống kê nào mỗi lần. Áp dụng trên nhiều mô phỏng, bạn sẽ nhận được phân phối cho thống kê dưới giá trị null mà giá trị mẫu của bạn có thể được so sánh. Bằng cách kết hợp dữ liệu - rình mò vào tính toán mà bạn tính đến cho hiệu quả của nó.
[Ngoài ra, người ta có thể phát triển một thử nghiệm dựa trên việc lấy mẫu lại (cho dù dựa trên hoán vị / ngẫu nhiên hoặc bootstrapping).]