Có trường hợp không có k tối ưu trong k-mean?

Điều này đã ở trong tâm trí tôi ít nhất một vài giờ. Tôi đã cố gắng tìm một k tối ưu cho đầu ra từ thuật toán k-mean (với số liệu tương tự cosine ) nên cuối cùng tôi đã tính toán biến dạng là một hàm của số cụm. Bộ dữ liệu của tôi là một bộ sưu tập 800 tài liệu trong một không gian 600 chiều.

Theo những gì tôi hiểu, việc tìm điểm đầu gối hoặc điểm khuỷu tay trên đường cong này sẽ cho tôi biết ít nhất là xấp xỉ số lượng cụm tôi cần để đưa dữ liệu của mình vào. Tôi đặt đồ thị bên dưới. Điểm tại đó đường thẳng đứng màu đỏ được vẽ bằng cách sử dụng phép thử đạo hàm thứ hai tối đa . Sau khi làm tất cả những điều này, tôi đã bị mắc kẹt ở một điều đơn giản hơn nhiều: biểu đồ này cho tôi biết gì về tập dữ liệu?

Nó có nói với tôi rằng nó không đáng để phân cụm và các tài liệu của tôi thiếu cấu trúc hoặc tôi cần đặt một k rất cao? Mặc dù vậy, có một điều kỳ lạ là ngay cả với mức k thấp, tôi vẫn thấy các tài liệu tương tự được nhóm lại với nhau nên tôi không chắc tại sao mình lại có đường cong này. Có suy nghĩ gì không?

Trong hầu hết các tình huống, tôi có thể nghĩ rằng về cơ bản cốt truyện có nghĩa là không có cấu trúc cụm trong dữ liệu. Tuy nhiên, việc phân cụm ở các kích thước rất cao như điều này là khó khăn vì đối với chỉ số khoảng cách Euclide, tất cả các khoảng cách có xu hướng giống như số lượng kích thước tăng lên. Xem trang Wikipedia này để tham khảo một số bài viết về chủ đề này. Nói tóm lại, nó có thể chỉ là vấn đề chiều cao của bộ dữ liệu là vấn đề.

Đây thực chất là "lời nguyền của chiều", xem trang Wikipedia này.

Một bài báo có thể được quan tâm là Sanguinetti, G., "Giảm kích thước của các bộ đệm cụm", Giao dịch của IEEE về Phân tích mẫu và Thông minh máy, tập. 30 không. 3, trang 535-540, tháng 3 năm 2008 ( www ). Giống như một phiên bản LDA không giám sát, tìm kiếm một không gian chiều thấp, nhấn mạnh cấu trúc cụm. Có lẽ bạn có thể sử dụng nó như một phương pháp trích xuất tính năng trước khi thực hiện phương tiện k?

Làm thế nào chính xác để bạn sử dụng tương tự cosine? Đây có phải là những gì được gọi là K-phương tiện hình cầu? Tập dữ liệu của bạn khá nhỏ, vì vậy tôi sẽ cố gắng hình dung nó như một mạng. Đối với điều này, việc sử dụng một sự tương tự (ví dụ, tương tự cosine hoặc tương quan Pearson) là điều tự nhiên , áp dụng một giới hạn (chỉ xem xét các mối quan hệ trên một độ tương tự nhất định) và xem kết quả như một mạng trong ví dụ Cytoscape hoặc BioLayout . Điều này có thể rất hữu ích để có được một cảm giác cho dữ liệu. Thứ hai, tôi sẽ tính các giá trị số ít cho ma trận dữ liệu của bạn hoặc giá trị riêng của ma trận được biến đổi và chuẩn hóa phù hợp (ma trận tài liệu tài liệu thu được ở dạng nào đó). Cấu trúc cụm nên (một lần nữa) hiển thị như một bước nhảy trong danh sách có giá trị riêng hoặc giá trị số ít.

Nói chung là có, phương tiện k có thể hội tụ đến các giải pháp rất khác biệt có thể được đánh giá là không phù hợp. Điều này đặc biệt xảy ra đối với các cụm có hình dạng không đều.

Điều đó nhận được nhiều trực giác hơn, bạn cũng có thể thử một cách tiếp cận trực quan hóa khác: Đối với k-nghĩa là bạn có thể hình dung một số lần chạy bằng phương tiện k bằng cách sử dụng Biểu đồ (xem gói đồ thị WEKA - tốt nhất có được bởi người quản lý gói hoặc ở đây . tìm thấy ở đây .

Nếu tôi hiểu đồ thị một cách chính xác thì đó là đồ thị của số cụm, K trên trục x và khoảng cách trong cụm trên trục y?

Bởi vì chức năng mục tiêu K-nghĩa của bạn là để giảm thiểu WCSS, âm mưu này sẽ luôn luôn giảm đơn điệu. Khi bạn thêm nhiều cụm, khoảng cách giữa các điểm trong cụm sẽ luôn giảm. Đây là vấn đề cơ bản của lựa chọn mô hình, vì vậy bạn cần sử dụng sự tinh tế hơn một chút.

Có lẽ hãy thử thống kê Gap: www-stat.stanford.edu/~tibs/ftp/gap.ps hoặc những người khác thích nó.

Hơn nữa, bạn có thể thấy rằng K-mean không phải là công cụ phù hợp cho công việc. Có bao nhiêu cụm bạn mong muốn tìm thấy? Sử dụng quy tắc phương sai để giảm kích thước cho phân cụm là không phù hợp. Xem bài viết này khi chiếu lên các PC K-1 đầu tiên là một biện pháp tiền xử lý thích hợp: http://people.csail.mit.edu/gjw/ con / jcss.ps

Bạn có thể nhanh chóng xem liệu đây có phải là điều nên làm hay không bằng cách vẽ hình chiếu lên hai thành phần chính đầu tiên. Nếu có sự tách biệt rõ ràng thì K-nghĩa sẽ ổn, nếu không bạn cần xem xét một thứ khác. Có lẽ không gian con K hoặc các phương thức phân cụm không gian con khác. Ghi nhớ những phương pháp này áp dụng cho khoảng cách Euclide. Tôi không chắc điều này thay đổi như thế nào đối với cosin.