Tự động xác định ngưỡng để phát hiện bất thường

Tôi đang làm việc với một chuỗi thời gian của điểm bất thường (nền là phát hiện bất thường trong mạng máy tính). Mỗi phút, tôi nhận được số điểm bất thường cho tôi biết mức độ "bất ngờ" hoặc bất thường của trạng thái hiện tại của mạng. Điểm càng cao, trạng thái hiện tại càng bất thường. Điểm gần với 5 về mặt lý thuyết là có thể nhưng xảy ra gần như không bao giờ.$x_t \in [0, 5]$

Bây giờ tôi muốn đưa ra một thuật toán hoặc một công thức tự động xác định ngưỡng cho chuỗi thời gian bất thường này. Ngay khi điểm số bất thường vượt quá ngưỡng này, một báo động sẽ được kích hoạt.

Phân phối tần số dưới đây là một ví dụ cho chuỗi thời gian bất thường trong hơn 1 ngày. Tuy nhiên, sẽ không an toàn khi cho rằng mọi chuỗi thời gian dị thường sẽ trông như thế. Trong ví dụ đặc biệt này, một ngưỡng bất thường như .99-quantile sẽ có ý nghĩa vì một vài điểm ở bên phải có thể được coi là dị thường.

Và phân phối tần số giống như chuỗi thời gian (nó chỉ nằm trong khoảng từ 0 đến 1 do không có điểm bất thường cao hơn trong chuỗi thời gian):

Thật không may, phân phối tần số có thể có hình dạng, trong đó .99-quantile không hữu ích . Một ví dụ dưới đây. Đuôi bên phải rất thấp, do đó, nếu định lượng 0,99 được sử dụng làm ngưỡng, điều này có thể dẫn đến nhiều kết quả dương tính giả. Phân phối tần số này dường như không chứa bất thường, vì vậy ngưỡng nên nằm ngoài phân phối ở khoảng 0,25.

Tóm lại, sự khác biệt giữa hai ví dụ này là cái đầu tiên dường như thể hiện sự bất thường trong khi cái thứ hai thì không.

Theo quan điểm ngây thơ của tôi, thuật toán nên xem xét hai trường hợp sau:

• Nếu phân phối tần số có đuôi phải lớn (nghĩa là một vài điểm bất thường), thì định lượng 0,99 có thể là một ngưỡng tốt.
• Nếu phân phối tần số có đuôi phải rất ngắn (nghĩa là không có điểm bất thường), thì ngưỡng nên nằm ngoài phân phối.

/ chỉnh sửa: Cũng không có sự thật cơ bản, tức là bộ dữ liệu được dán nhãn có sẵn. Vì vậy, thuật toán là "mù" so với bản chất của điểm số dị thường.

Bây giờ tôi không chắc làm thế nào những quan sát này có thể được thể hiện dưới dạng thuật toán hoặc công thức. Có ai có một đề nghị làm thế nào vấn đề này có thể được giải quyết? Tôi hy vọng rằng những lời giải thích của tôi là đủ vì nền tảng thống kê của tôi rất hạn chế.

Cảm ơn bạn đã giúp đỡ!

Bạn có thể tìm thấy giấy quan tâm này. Xem thêm trình bày chi tiết hơn về các mô hình tương tự ở West & Harrison . Cũng có những ví dụ khác về loại giám sát này, nhiều ví dụ gần đây hơn, nhưng đây không chính xác là nhà xe của tôi :). Không còn nghi ngờ gì nữa, có những triển khai phù hợp của các mô hình này, nhưng tôi không biết chúng có thể là gì ...

Ý tưởng cơ bản là bạn có một mô hình chuyển mạch trong đó một số quan sát / trình tự quan sát được quy cho các trạng thái mạng bất thường trong khi phần còn lại được coi là bình thường. Một hỗn hợp như thế này có thể chiếm phần đuôi dài bên phải trong cốt truyện đầu tiên của bạn. Một mô hình động cũng có thể cảnh báo bạn về các bước nhảy bất thường như vào lúc 8:00 và 4:00 theo thời gian thực bằng cách gán xác suất cao cho các quan sát mới thuộc về trạng thái vấn đề. Nó cũng có thể dễ dàng được mở rộng để bao gồm những thứ như dự đoán, các thành phần định kỳ (có lẽ điểm số của bạn tăng / giảm một chút với hoạt động) và loại điều đó.

Chỉnh sửa: Tôi cũng nên thêm, loại mô hình này là "không được giám sát" theo nghĩa là sự bất thường được bắt gặp bằng cách hiển thị một sự thay đổi trung bình lớn hoặc tăng phương sai. Khi bạn thu thập dữ liệu, bạn có thể cải thiện mô hình với các bản phân phối trước nhiều thông tin hơn. Nhưng có lẽ một khi bạn có đủ dữ liệu (và các ví dụ đào tạo khó thắng bằng cách xử lý các sự cố mạng!) Bạn có thể nghĩ ra một số quy tắc giám sát đơn giản (ngưỡng, v.v.)

Bạn có bất kỳ ví dụ 'được dán nhãn' nào về sự bất thường không? tức là các giá trị liên quan đến lỗi mạng, hoặc một cái gì đó tương tự?

Một ý tưởng bạn có thể cân nhắc áp dụng là đường cong ROC, rất hữu ích để chọn các ngưỡng đáp ứng một tiêu chí cụ thể, như tối đa hóa dương tính thật hoặc giảm thiểu âm tính giả.

Tất nhiên, để sử dụng đường cong ROC, bạn cần gắn nhãn dữ liệu của mình theo một cách nào đó.

Biểu đồ của "chuỗi gốc" không phải thể hiện bất kỳ cấu trúc được xác định trước nào. Điều quan trọng là đồ thị của "phần dư từ một chuỗi mô hình phù hợp" cần thể hiện cấu trúc gaussian. "Cấu trúc gaussian" này thường có thể thu được bằng cách kết hợp một hoặc nhiều "biến đổi" sau 1. MÔ HÌNH 2. Điều chỉnh cho dịch chuyển cấp cục bộ hoặc Xu hướng thời gian cục bộ hoặc Xung theo mùa hoặc Xung thông thường 3. phân tích trọng số khai thác tính không đồng nhất đã được chứng minh 4. một phép biến đổi công suất có thể (các bản ghi, v.v.) để đối phó với sự không đồng nhất phương sai cụ thể 5. việc phát hiện các điểm trong thời gian mà mô hình / tham số có thể đã thay đổi.

Phát hiện can thiệp sẽ đưa ra một tuyên bố về ý nghĩa thống kê của sự kiện gần đây nhất cho thấy sự bình thường hoặc sự bất thường

Trong phản hồi của OP trước câu trả lời trước của tôi, anh ấy đã đăng dữ liệu của mình lên web. 60 bài đọc mỗi giờ trong 24 giờ trong 6 ngày . Vì đây là công cụ cắt ngang chuỗi thời gian như DBSCAN có mức độ liên quan hạn chế vì dữ liệu có sự phụ thuộc theo thời gian. Với dữ liệu như thế này thường tìm kiếm cấu trúc trong giờ và trong ngày. Ngoài các loại cấu trúc này, người ta có thể theo đuổi việc phát hiện các dị thường có thể chỉ là một lần (xung) hoặc có tính hệ thống (thay đổi cấp độ) bằng các phương pháp được ghi chép tốt (xem tài liệu của Tsay, Tiao, Chen et. al.) Các thủ tục này mang lại "sự bất thường" sau đây. Lưu ý rằng sự thay đổi cấp độ về cơ bản là gợi ý cho các "cụm" riêng biệt.

                                HOUR/MINUTE     TIME

Sau khi một người bạn của tôi chỉ cho tôi hướng của các thuật toán phân cụm , tôi tình cờ thấy DBSCAN xây dựng các cụm trong không gian n chiều theo hai tham số được xác định trước. Ý tưởng cơ bản là phân cụm dựa trên mật độ, tức là các vùng dày đặc tạo thành các cụm. Các ngoại lệ được trả lại riêng bằng thuật toán. Vì vậy, khi áp dụng vào biểu đồ 1 chiều của tôi, DBSCAN có thể cho tôi biết, liệu điểm số dị thường của tôi có bất kỳ ngoại lệ nào không. Lưu ý: Trong DBSCAN, ngoại lệ chỉ là một điểm không thuộc về bất kỳ cụm nào. Trong các hoạt động bình thường, tôi hy vọng thuật toán chỉ mang lại một cụm duy nhất (và không có ngoại lệ).

$\epsilon \approx 0.1$

Sau khi có thể xác định các ngoại lệ, việc tìm ngưỡng sẽ rút gọn các quy tắc đơn giản như:

• Nếu tập hợp thể hiện các ngoại lệ, hãy đặt ngưỡng giữa cụm "bình thường" và "ngoại lệ" để lề cho cả hai được tối đa hóa.
• Nếu tập hợp không thể hiện bất kỳ ngoại lệ nào, hãy đặt ngưỡng một độ lệch chuẩn khỏi điểm ngoài cùng bên phải.

Dù sao, cảm ơn cho tất cả các trả lời hữu ích!