Phát hiện ngoại lệ / phát hiện bất thường

Tôi đang cố gắng thiết lập một cơ sở hạ tầng dữ liệu lớn bằng Hadoop, Hive, Tìm kiếm đàn hồi (trong số những người khác) và tôi muốn chạy một số thuật toán trên các bộ dữ liệu nhất định. Tôi muốn bản thân các thuật toán có thể mở rộng được, vì vậy, điều này loại trừ việc sử dụng các công cụ như Weka, R hoặc thậm chí là RHadoop. Các Apache Mahout Thư viện có vẻ là một lựa chọn tốt, và nó có tính năng thuật toán cho hồi quy và phân nhóm nhiệm vụ .

Những gì tôi đang đấu tranh để tìm là một giải pháp cho sự phát hiện bất thường hoặc ngoại lệ.

Vì Mahout có các Mô hình Markov ẩn và một loạt các kỹ thuật phân cụm (bao gồm cả K-Means), tôi đã tự hỏi liệu có thể xây dựng một mô hình để phát hiện các ngoại lệ trong chuỗi thời gian hay không, sử dụng bất kỳ phương pháp nào trong số này. Tôi sẽ biết ơn nếu ai đó có kinh nghiệm về điều này có thể tư vấn cho tôi

1. nếu có thể, và trong trường hợp nó là
2. làm thế nào để làm điều đó, cộng với
3. một ước tính của những nỗ lực liên quan và
4. độ chính xác / vấn đề của phương pháp này.

Tôi sẽ xem xét thuật toán t-digest . Nó đã được hợp nhất thành mahout và cũng là một phần của một số thư viện khác để truyền dữ liệu lớn. Bạn có thể nhận được nhiều hơn về thuật toán này đặc biệt và phát hiện bất thường dữ liệu lớn nói chung trong các tài nguyên tiếp theo:

1. Thực hành máy học cuốn sách phát hiện bất thường.
2. Hội thảo trên web: Phát hiện bất thường khi bạn không biết bạn cần tìm gì
3. Phát hiện bất thường trong Elaticsearch .
4. Đánh bại gian lận hàng tỷ đô la bằng cách phát hiện bất thường: Cách tiếp cận xử lý tín hiệu bằng cách sử dụng dữ liệu Argyle trên nền tảng dữ liệu của Hortonworks với Accumulo

Bạn có thể tham khảo phản hồi của tôi liên quan đến phương pháp phát hiện dị thường h2o R hoặc Python trong stackexchange , vì đó cũng có thể mở rộng được.