K-nghĩa là: Có bao nhiêu lần lặp trong các tình huống thực tế?

Tôi không có kinh nghiệm trong ngành khai thác dữ liệu hoặc dữ liệu lớn vì vậy rất thích nghe bạn chia sẻ một số kinh nghiệm.

Có phải mọi người thực sự chạy k-mean, PAM, CLARA, v.v. trên một tập dữ liệu thực sự lớn? Hoặc họ chỉ chọn ngẫu nhiên một mẫu từ nó? Nếu họ chỉ lấy một mẫu của tập dữ liệu, kết quả có đáng tin không nếu tập dữ liệu không được phân phối bình thường?

Trong các tình huống thực tế khi chạy các thuật toán này, chúng ta có thể cho biết bao nhiêu lần lặp lại thông thường cho đến khi hội tụ xảy ra không? Hoặc số lần lặp luôn tăng theo kích thước dữ liệu?

Tôi đang hỏi điều này bởi vì tôi đang nghĩ đến việc phát triển một cách tiếp cận để chấm dứt các thuật toán lặp trước khi hội tụ, nhưng kết quả vẫn được chấp nhận. Tôi nghĩ rằng nó đáng để thử nếu số lần lặp là hơn 1.000, vì vậy chúng ta có thể tiết kiệm một số chi phí tính toán và thời gian. Bạn nghĩ sao?

1. K-nghĩa là rẻ. Bạn có thể đủ khả năng để chạy nó cho nhiều lần lặp.

2. Có thuật toán xấu (tiêu chuẩn) và thuật toán tốt. Đối với các thuật toán tốt, các lần lặp lại sau có chi phí thường thấp hơn nhiều so với 1% của lần lặp đầu tiên.

3. Có những triển khai thực sự chậm. Đừng sử dụng chúng.

4. K-có nghĩa là dữ liệu "lớn" không tồn tại. Bởi vì nó chỉ hoạt động trên dữ liệu vector chiều thấp. Bạn sẽ không vượt quá bộ nhớ của một máy chủ hiện đại với dữ liệu đó. có, dữ liệu lớn hơn tồn tại - nhưng bạn không thể sử dụng phương tiện k nói trên một tháng dữ liệu Twitter, vì nó sẽ không cung cấp cho bạn bất cứ điều gì hữu ích.

Với việc triển khai tốt, trên một máy chủ hiện đại, bộ dữ liệu lớn nhất bạn có thể tìm thấy trong đó k-mean vẫn cho kết quả hữu ích có thể cần ít hơn 1 phút để tính toán cho đến khi hội tụ. Vậy tại sao phải suy nghĩ về một giới hạn lặp?