Thuật toán phân đoạn dữ liệu chuỗi

Tôi có một chuỗi lớn các vectơ có độ dài N. Tôi cần một số thuật toán học tập không giám sát để chia các vectơ này thành các đoạn M.

Ví dụ:

K-mean không phù hợp, vì nó đặt các yếu tố tương tự từ các vị trí khác nhau vào một cụm.

Cập nhật:

Dữ liệu thực trông như thế này:

Ở đây, tôi thấy 3 cụm: [0..50], [50..200], [200..250]

Cập nhật 2:

Tôi đã sử dụng phương tiện k sửa đổi và nhận được kết quả chấp nhận được này:

Biên giới của cụm: [0, 38, 195, 246]

Xin vui lòng xem nhận xét của tôi ở trên và đây là câu trả lời của tôi theo những gì tôi hiểu từ câu hỏi của bạn:

Như bạn đã nói chính xác, bạn không cần Phân cụm nhưng Phân đoạn . Quả thực bạn đang tìm kiếm Điểm thay đổi trong chuỗi thời gian của bạn. Câu trả lời thực sự phụ thuộc vào độ phức tạp của dữ liệu của bạn. Nếu dữ liệu đơn giản như ví dụ trên, bạn có thể sử dụng sự khác biệt của các vectơ vượt quá các điểm thay đổi và đặt ngưỡng phát hiện các điểm đó như dưới đây: $dx<-20$$dx>20$

Sơ chế

Xin lưu ý rằng có sự đánh đổi giữa vị trí chính xác của điểm thay đổi và số phân đoạn chính xác, tức là nếu bạn sử dụng dữ liệu gốc, bạn sẽ tìm thấy các điểm thay đổi chính xác nhưng toàn bộ phương pháp là nhạy cảm với tiếng ồn nhưng nếu bạn làm mịn tín hiệu của bạn trước tiên bạn có thể không tìm thấy những thay đổi chính xác nhưng hiệu ứng nhiễu sẽ ít hơn nhiều như thể hiện trong hình dưới đây:

Phần kết luận

Đề nghị của tôi là làm mịn tín hiệu của bạn trước và đi đến một mthod phân cụm đơn giản (ví dụ: sử dụng GMM ) để tìm ước tính chính xác về số lượng phân đoạn trong tín hiệu. Đưa ra thông tin này, bạn có thể bắt đầu tìm các điểm thay đổi bị ràng buộc bởi số lượng phân khúc bạn tìm thấy từ phần trước.

Tôi hy vọng tất cả đã giúp :)

Chúc may mắn!

CẬP NHẬT

May mắn là dữ liệu của bạn khá đơn giản và sạch sẽ. Tôi thực sự khuyên bạn nên sử dụng thuật toán giảm kích thước (ví dụ PCA đơn giản ). Tôi đoán nó tiết lộ cấu trúc bên trong của cụm của bạn. Khi bạn áp dụng PCA cho dữ liệu, bạn có thể sử dụng k-nghĩa dễ dàng hơn và chính xác hơn nhiều.

Một giải pháp nghiêm túc (!)

Theo dữ liệu của bạn, tôi thấy sự phân phối rộng rãi của các phân khúc khác nhau là cơ hội tuyệt vời để bạn phân đoạn chuỗi thời gian của mình. Xem điều này (bản gốc , lưu trữ , nguồn khác ) có lẽ là giải pháp tốt nhất và hiện đại nhất cho vấn đề của bạn. Ý tưởng chính đằng sau bài báo này là nếu các phân đoạn khác nhau của chuỗi thời gian được tạo bởi các phân phối cơ bản khác nhau, bạn có thể tìm thấy các phân phối đó, đặt tham chiếu là sự thật nền tảng cho phương pháp phân cụm của bạn và tìm các cụm.

Ví dụ: giả sử một video dài trong đó 10 phút đầu tiên có người đi xe đạp, trong 10 phút thứ hai anh ta đang chạy và trong lần thứ ba anh ta đang ngồi. bạn có thể phân cụm ba phân đoạn (hoạt động) khác nhau này bằng cách sử dụng phương pháp này.

K-nghĩa là phân cụm được biết là cung cấp cực tiểu cục bộ, tùy thuộc vào khởi tạo ban đầu của bạn về các trung tâm cụm.

Tuy nhiên, tôi nghĩ rằng phân khúc k-mean có thể được giải quyết trên toàn cầu, vì chúng tôi không cho phép bất cứ điều gì trong việc tìm kiếm giải pháp.

Tôi có thể thấy từ ý kiến ​​của bạn rằng cuối cùng bạn đã quản lý để đạt được một phân khúc. Bạn có thể cho một số thông tin phản hồi, xin vui lòng? Là giải pháp của bạn là giải pháp tốt nhất? Hay bạn đã giải quyết cho một giải pháp đủ tốt?

Đúng như một gợi ý: bạn có thể thử sử dụng thuật toán DBSCAN, vì nó thường hoạt động tốt hơn nhiều so với phương tiện K để phân cụm

Mặt khác, nếu bạn muốn thử một cái gì đó mới để phân cụm và tìm hiểu một số nội dung thú vị, tôi khuyên bạn nên thử một số Phân tích dữ liệu tô pô thông qua các sơ đồ liên tục. Tôi sẽ để lại cho bạn một phần giới thiệu dễ dàng :)

https://towardsdatascience.com/persistent-homology-with-examples-1974d4b9c3d0