Sử dụng thử nghiệm ý nghĩa thống kê để xác nhận kết quả phân tích cụm

13

Tôi đang khảo sát việc sử dụng thử nghiệm ý nghĩa thống kê (SST) để xác nhận kết quả phân tích cụm. Tôi đã tìm thấy một số bài viết xung quanh chủ đề này, chẳng hạn như

" Ý nghĩa thống kê của việc phân cụm cho dữ liệu kích thước mẫu cao, kích thước mẫu thấp " của Liu, Yufeng et al. (2008)
" Trên một số thử nghiệm quan trọng trong phân tích cụm ", bởi Bock (1985)

Nhưng tôi quan tâm đến việc tìm kiếm một số tài liệu cho rằng SST KHÔNG phù hợp để xác nhận kết quả phân tích cụm. Nguồn duy nhất tôi tìm thấy khẳng định đây là trang web của nhà cung cấp phần mềm

Làm rõ:

Tôi quan tâm đến việc kiểm tra xem một cấu trúc cụm quan trọng đã được tìm thấy do kết quả của phân tích cụm, vì vậy, tôi muốn biết các bài báo hỗ trợ hoặc bác bỏ mối quan tâm "về khả năng kiểm tra sau kết quả của dữ liệu thăm dò phân tích được sử dụng để tìm cụm ".

Tôi vừa tìm thấy một bài báo từ năm 2003, " Phương pháp phân cụm và phân loại " của Milligan và Hirtle nói, ví dụ, sử dụng ANOVA sẽ là một phân tích không hợp lệ vì dữ liệu không có sự phân công ngẫu nhiên cho các nhóm.

hypothesis-testing clustering statistical-significance

— DPS
nguồn

Đây là một câu hỏi hay, nhưng có thể đáng để chỉ ra rằng nó được diễn đạt theo cách khiến nó có vẻ như có sự phân đôi: hoặc bạn có thể kiểm tra tầm quan trọng của việc phân cụm hoặc bạn không thể. Tuy nhiên, tình huống là khác nhau, vì "phân tích cụm" có nghĩa là nhiều thứ khác nhau. Trong các tài liệu tham khảo, trọng tâm là kiểm tra xem có bằng chứng cho việc phân cụm hay không. Trong hướng dẫn sử dụng phần mềm, mối quan tâm được thể hiện chính xác về khả năng kiểm tra sau đại học về kết quả phân tích dữ liệu thăm dò được sử dụng để tìm cụm. Không có mâu thuẫn ở đây.

— whuber

Cảm ơn đã trả lời. Bạn nói đúng về cách tôi đặt ra câu hỏi. Tôi quan tâm đến việc kiểm tra xem một cấu trúc cụm quan trọng đã được tìm thấy do kết quả của phân tích cụm, vì vậy, tôi muốn biết các bài báo hỗ trợ hoặc bác bỏ mối quan tâm "về khả năng kiểm tra sau kết quả của dữ liệu thăm dò phân tích được sử dụng để tìm cụm ". Tôi vừa tìm thấy một bài báo từ năm 2003 "Phương pháp phân cụm và phân loại" của Milligan và Hirtle nói rằng việc sử dụng ANOVA sẽ là một phân tích không hợp lệ do dữ liệu không có sự phân công ngẫu nhiên cho các nhóm.

— DPS

Có thể giúp đỡ: Bị mù bởi khoa học: hậu quả quản lý của các giải pháp phân tích cụm được xác nhận không đầy đủ, mrs.org.uk/ijmr_article/article/78841

— rolando2

3

Một điều khá rõ ràng là bạn không thể (ngây thơ) kiểm tra sự khác biệt trong phân phối cho các nhóm được xác định bằng cùng một dữ liệu. Điều này được gọi là "thử nghiệm chọn lọc", "nhúng đôi", "suy luận tròn", v.v.

Một ví dụ sẽ thực hiện kiểm tra t trên độ cao của những người "cao" và "ngắn" trong dữ liệu của bạn. Ý chí null (gần như) luôn bị từ chối.

Đã nói rằng - người ta thực sự có thể giải thích cho giai đoạn phân cụm ở giai đoạn thử nghiệm. Tôi không quen, tuy nhiên, với một tài liệu tham khảo cụ thể thực hiện điều đó, nhưng tôi nghi ngờ điều này nên được thực hiện.

— JohnRos
nguồn

Tôi đồng ý rằng null hầu như sẽ luôn bị từ chối khi áp dụng một bài kiểm tra quan trọng trên các nhóm cụm khác nhau. Mặc dù - đây chỉ là trường hợp nếu việc phân cụm thực sự được quản lý để tách các nhóm độc đáo cho tất cả các biến được xem xét trong CA? Không thể sử dụng một bài kiểm tra quan trọng để xác định xem có các biến không được phân tách tốt giữa các nhóm không (có nghĩa là áp dụng một bài kiểm tra cho từng biến)? Bạn có thể vui lòng giải thích lý do thống kê tại sao điều này không được khuyến nghị / hợp lý?

— luke

Đối số chính thức là thuật ngữ lỗi của mỗi phép đo không tập trung vào số không. Hãy nghĩ về ví dụ cao / ngắn của tôi: tất cả mọi người được rút ra từ cùng một phân phối, nhưng nhóm "cao" có lỗi với giá trị trung bình dương và trung bình phủ định "ngắn".

— JohnRos

0

Thay vì kiểm tra giả thuyết với một thử nghiệm nhất định, tôi sẽ đề xuất các phương tiện bootstrapping hoặc các ước tính tóm tắt khác giữa các cụm. Chẳng hạn, bạn có thể dựa vào bootstrap phần trăm với ít nhất 1000 mẫu. Điểm mấu chốt là áp dụng phân cụm độc lập cho từng mẫu bootstrap.

Cách tiếp cận này sẽ khá mạnh mẽ, cung cấp bằng chứng cho sự khác biệt và hỗ trợ cho yêu cầu của bạn về sự khác biệt đáng kể giữa các cụm. Ngoài ra, bạn có thể tạo một biến khác (giả sử giữa chênh lệch cụm) và ước tính bootstrap của biến khác biệt đó sẽ tương tự như một thử nghiệm chính thức của giả thuyết.

— Joe_74
nguồn