Thuật toán đơn giản để phát hiện ngoại lệ trực tuyến của chuỗi thời gian chung

Tôi đang làm việc với một lượng lớn chuỗi thời gian. Các chuỗi thời gian này về cơ bản là các phép đo mạng cứ sau 10 phút và một số trong số chúng là định kỳ (tức là băng thông), trong khi một số khác không (tức là lượng lưu lượng định tuyến).

Tôi muốn một thuật toán đơn giản để thực hiện "phát hiện ngoại lệ" trực tuyến. Về cơ bản, tôi muốn giữ trong bộ nhớ (hoặc trên đĩa) toàn bộ dữ liệu lịch sử cho từng chuỗi thời gian và tôi muốn phát hiện bất kỳ ngoại lệ nào trong một kịch bản trực tiếp (mỗi lần lấy một mẫu mới). Cách tốt nhất để đạt được những kết quả này là gì?

Tôi hiện đang sử dụng một trung bình di động để loại bỏ một số tiếng ồn, nhưng sau đó thì sao? Những điều đơn giản như độ lệch chuẩn, điên, ... đối với toàn bộ tập dữ liệu không hoạt động tốt (tôi không thể giả sử chuỗi thời gian là ổn định) và tôi muốn một cái gì đó "chính xác" hơn, lý tưởng là một hộp đen như:

double out_d_dection (double * vector, double value);

trong đó vectơ là mảng kép chứa dữ liệu lịch sử và giá trị trả về là điểm bất thường cho "giá trị" mẫu mới.

Dưới đây là một hàm R đơn giản sẽ tìm thấy các ngoại lệ chuỗi thời gian (và tùy chọn hiển thị chúng trong một âm mưu). Nó sẽ xử lý chuỗi thời gian theo mùa và không theo mùa. Ý tưởng cơ bản là tìm các ước tính mạnh mẽ về xu hướng và các thành phần theo mùa và trừ chúng. Sau đó tìm các ngoại lệ trong phần dư. Thử nghiệm cho các ngoại lệ còn lại giống như đối với boxplot tiêu chuẩn - các điểm lớn hơn 1,5IQR ở trên hoặc dưới các tứ phân vị trên và dưới được giả định là các ngoại lệ. Số lượng IQR trên / dưới các ngưỡng này được trả về dưới dạng "điểm số" ngoại lệ. Vì vậy, điểm số có thể là bất kỳ số dương nào, và sẽ bằng không đối với những người không ngoại lệ.

Tôi nhận ra rằng bạn không thực hiện điều này trong R, nhưng tôi thường thấy một hàm R là một nơi tốt để bắt đầu. Sau đó, nhiệm vụ là dịch nó sang bất kỳ ngôn ngữ nào được yêu cầu.

tsoutliers <- function(x,plot=FALSE)
{
    x <- as.ts(x)
    if(frequency(x)>1)
        resid <- stl(x,s.window="periodic",robust=TRUE)$time.series[,3]
    else
    {
        tt <- 1:length(x)
        resid <- residuals(loess(x ~ tt))
    }
    resid.q <- quantile(resid,prob=c(0.25,0.75))
    iqr <- diff(resid.q)
    limits <- resid.q + 1.5*iqr*c(-1,1)
    score <- abs(pmin((resid-limits[1])/iqr,0) + pmax((resid - limits[2])/iqr,0))
    if(plot)
    {
        plot(x)
        x2 <- ts(rep(NA,length(x)))
        x2[score>0] <- x[score>0]
        tsp(x2) <- tsp(x)
        points(x2,pch=19,col="red")
        return(invisible(score))
    }
    else
        return(score)
}

Một giải pháp tốt sẽ có một số thành phần, bao gồm:

• Sử dụng một cửa sổ kháng, di chuyển trơn tru để loại bỏ sự không cố định.

• Thể hiện lại dữ liệu gốc sao cho phần dư tương ứng với độ mịn được phân bổ đối xứng. Do tính chất của dữ liệu của bạn, có khả năng căn bậc hai hoặc logarit của chúng sẽ cung cấp các phần dư đối xứng.

• Áp dụng các phương pháp biểu đồ kiểm soát, hoặc ít nhất là tư duy biểu đồ kiểm soát, cho phần dư.

Theo như cách cuối cùng, tư duy biểu đồ kiểm soát cho thấy các ngưỡng "thông thường" như 2 SD hoặc 1,5 lần IQR ngoài các bộ tứ hoạt động kém vì chúng kích hoạt quá nhiều tín hiệu ngoài tầm kiểm soát sai. Mọi người thường sử dụng 3 SD trong công việc biểu đồ kiểm soát, gấp 2,5 (hoặc thậm chí 3) lần IQR ngoài các tứ phân vị sẽ là điểm khởi đầu tốt.

Tôi đã ít nhiều vạch ra bản chất của giải pháp của Rob Hyndman trong khi thêm vào đó hai điểm chính: nhu cầu tiềm năng để thể hiện lại dữ liệu và sự khôn ngoan của việc bảo thủ hơn trong việc báo hiệu một ngoại lệ. Tuy nhiên, tôi không chắc chắn rằng Loess tốt cho một máy dò trực tuyến, bởi vì nó không hoạt động tốt ở các điểm cuối. Thay vào đó, bạn có thể sử dụng một cái gì đó đơn giản như bộ lọc trung vị chuyển động (như trong làm mịn kháng Tukey). Nếu các ngoại lệ không xuất hiện theo cụm, bạn có thể sử dụng một cửa sổ hẹp (5 điểm dữ liệu, có lẽ, sẽ bị phá vỡ chỉ với một cụm từ 3 ngoại lệ trở lên trong một nhóm 5).

Khi bạn đã thực hiện phân tích để xác định biểu hiện lại dữ liệu tốt, có thể bạn sẽ không cần phải thay đổi biểu thức lại. Do đó, trình phát hiện trực tuyến của bạn thực sự chỉ cần tham chiếu các giá trị gần đây nhất (cửa sổ mới nhất) bởi vì nó hoàn toàn không sử dụng dữ liệu trước đó. Nếu bạn có chuỗi thời gian thực sự dài, bạn có thể đi xa hơn để phân tích tự tương quan và tính thời vụ (chẳng hạn như biến động hàng ngày hoặc hàng tuần) để cải thiện quy trình.

(Câu trả lời này đã trả lời một câu hỏi trùng lặp (hiện đã đóng) tại Phát hiện các sự kiện nổi bật , trong đó trình bày một số dữ liệu ở dạng đồ họa.)

Phát hiện ngoại lệ phụ thuộc vào bản chất của dữ liệu và vào những gì bạn sẵn sàng thừa nhận về chúng. Phương pháp mục đích chung dựa trên số liệu thống kê mạnh mẽ. Tinh thần của phương pháp này là đặc trưng hóa phần lớn dữ liệu theo cách không bị ảnh hưởng bởi bất kỳ ngoại lệ nào và sau đó chỉ ra bất kỳ giá trị riêng lẻ nào không phù hợp với đặc tính đó.

Bởi vì đây là một chuỗi thời gian, nó thêm vào sự phức tạp của việc cần (phát hiện lại) các ngoại lệ trên cơ sở liên tục. Nếu điều này được thực hiện khi chuỗi mở ra, thì chúng tôi chỉ được phép sử dụng dữ liệu cũ hơn để phát hiện, không phải dữ liệu trong tương lai! Hơn nữa, vì bảo vệ chống lại nhiều thử nghiệm lặp đi lặp lại, chúng tôi muốn sử dụng một phương pháp có tỷ lệ dương tính giả rất thấp.

Những cân nhắc này đề nghị chạy một cửa sổ di chuyển đơn giản, mạnh mẽ kiểm tra ngoại lệ đối với dữ liệu . Có nhiều khả năng, nhưng một khả năng đơn giản, dễ hiểu và dễ thực hiện dựa trên MAD đang chạy: độ lệch tuyệt đối trung vị so với trung vị. Đây là một thước đo mạnh mẽ của sự thay đổi trong dữ liệu, gần giống với độ lệch chuẩn. Một đỉnh cao bên ngoài sẽ là một số MAD hoặc lớn hơn trung bình.

Vẫn còn một số điều chỉnh cần thực hiện : độ lệch của phần lớn dữ liệu nên được xem là bao xa và thời gian quay ngược thời gian bao lâu? Hãy để những điều này làm tham số cho thử nghiệm. Đây là một Rtriển khai được áp dụng cho dữ liệu (với để mô phỏng dữ liệu) với các giá trị tương ứng :n = 1150 $x = (1,2,\ldots,n)$$n=1150$$y$

# Parameters to tune to the circumstances:
window <- 30
threshold <- 5

# An upper threshold ("ut") calculation based on the MAD:
library(zoo) # rollapply()
ut <- function(x) {m = median(x); median(x) + threshold * median(abs(x - m))}
z <- rollapply(zoo(y), window, ut, align="right")
z <- c(rep(z[1], window-1), z) # Use z[1] throughout the initial period
outliers <- y > z

# Graph the data, show the ut() cutoffs, and mark the outliers:
plot(x, y, type="l", lwd=2, col="#E00000", ylim=c(0, 20000))
lines(x, z, col="Gray")
points(x[outliers], y[outliers], pch=19)

Áp dụng cho một tập dữ liệu như đường cong màu đỏ được minh họa trong câu hỏi, nó tạo ra kết quả này:

Dữ liệu được hiển thị bằng màu đỏ, cửa sổ 30 ngày của ngưỡng trung bình + 5 * MAD màu xám và các ngoại lệ - đơn giản là các giá trị dữ liệu trên đường cong màu xám - màu đen.

(Ngưỡng chỉ có thể được tính bắt đầu ở cuối cửa sổ ban đầu. Đối với tất cả dữ liệu trong cửa sổ ban đầu này, ngưỡng đầu tiên được sử dụng: đó là lý do tại sao đường cong màu xám nằm giữa x = 0 và x = 30.)

Tác động của việc thay đổi các tham số là (a) tăng giá trị windowsẽ có xu hướng làm phẳng đường cong màu xám và (b) tăng thresholdsẽ làm tăng đường cong màu xám. Biết được điều này, người ta có thể lấy một phân đoạn dữ liệu ban đầu và nhanh chóng xác định các giá trị của các tham số tách biệt tốt nhất các đỉnh ngoài với phần còn lại của dữ liệu. Áp dụng các giá trị tham số này để kiểm tra phần còn lại của dữ liệu. Nếu một biểu đồ cho thấy phương thức đang xấu đi theo thời gian, điều đó có nghĩa là bản chất của dữ liệu đang thay đổi và các tham số có thể cần điều chỉnh lại.

Lưu ý rằng phương pháp này ít giả định về dữ liệu: chúng không phải được phân phối bình thường; họ không cần phải thể hiện bất kỳ định kỳ; họ thậm chí không phải là không tiêu cực. Tất cả những gì nó giả định là dữ liệu hành xử theo những cách tương đối hợp lý theo thời gian và các đỉnh ngoại vi cao hơn rõ rệt so với phần còn lại của dữ liệu.

Nếu bất cứ ai muốn thử nghiệm (hoặc so sánh một số giải pháp khác với giải pháp được cung cấp ở đây), đây là mã tôi đã sử dụng để tạo dữ liệu như những gì được hiển thị trong câu hỏi.

n.length <- 1150
cycle.a <- 11
cycle.b <- 365/12
amp.a <- 800
amp.b <- 8000

set.seed(17)
x <- 1:n.length
baseline <- (1/2) * amp.a * (1 + sin(x * 2*pi / cycle.a)) * rgamma(n.length, 40, scale=1/40)
peaks <- rbinom(n.length, 1,  exp(2*(-1 + sin(((1 + x/2)^(1/5) / (1 + n.length/2)^(1/5))*x * 2*pi / cycle.b))*cycle.b))
y <- peaks * rgamma(n.length, 20, scale=amp.b/20) + baseline

Nếu bạn lo lắng về các giả định với bất kỳ phương pháp cụ thể nào, một cách tiếp cận là đào tạo một số người học về các tín hiệu khác nhau, sau đó sử dụng các phương pháp tập hợp và tổng hợp qua "phiếu" từ người học của bạn để phân loại ngoại lệ.

BTW, điều này có thể đáng đọc hoặc đọc lướt qua vì nó tham khảo một vài cách tiếp cận vấn đề.

• Phát hiện ngoại lệ trực tuyến trên các luồng dữ liệu

Tôi đoán mô hình chuỗi thời gian tinh vi sẽ không hiệu quả với bạn vì cần có thời gian để phát hiện các ngoại lệ sử dụng phương pháp này. Do đó, đây là một cách giải quyết:

1. Trước tiên, hãy thiết lập các mẫu lưu lượng truy cập 'bình thường' trong một năm dựa trên phân tích thủ công dữ liệu lịch sử chiếm thời gian trong ngày, ngày trong tuần so với cuối tuần, tháng trong năm, v.v.

2. Sử dụng đường cơ sở này cùng với một số cơ chế đơn giản (ví dụ: đường trung bình được đề xuất bởi Carlos) để phát hiện các ngoại lệ.

Bạn cũng có thể muốn xem lại tài liệu kiểm soát quy trình thống kê cho một số ý tưởng.

Điều chỉnh dữ liệu theo mùa sao cho một ngày bình thường trông gần bằng phẳng hơn. Bạn có thể lấy mẫu 5:00 chiều ngày hôm nay và trừ hoặc chia trung bình của 30 ngày trước đó vào lúc 5:00 chiều. Sau đó nhìn qua độ lệch chuẩn N (được đo bằng cách sử dụng dữ liệu được điều chỉnh trước) cho các ngoại lệ. Điều này có thể được thực hiện riêng cho "mùa" hàng tuần và hàng ngày.

Một cách khác để tiếp cận được Rob Hyndman vạch ra sẽ là sử dụng Dự báo Holt-Winters . Các dải tin cậy có nguồn gốc từ Holt-Winters có thể được sử dụng để phát hiện các ngoại lệ. Dưới đây là một bài viết mô tả cách sử dụng Holt-Winters cho "Phát hiện hành vi sai lệch trong chuỗi thời gian để giám sát mạng". Một triển khai cho RRDTool có thể được tìm thấy ở đây .

Phân tích quang phổ phát hiện định kỳ trong chuỗi thời gian đứng yên. Cách tiếp cận miền tần số dựa trên ước tính mật độ phổ là cách tiếp cận tôi muốn giới thiệu như bước đầu tiên của bạn.

Nếu trong một khoảng thời gian nhất định, sự bất thường có nghĩa là một đỉnh cao hơn nhiều so với điển hình của khoảng thời gian đó thì chuỗi có sự bất thường như vậy sẽ không ổn định và phân tích quang phổ sẽ không phù hợp. Nhưng giả sử bạn đã xác định khoảng thời gian có sự bất thường, bạn sẽ có thể xác định xấp xỉ chiều cao cực đại bình thường và sau đó có thể đặt ngưỡng ở một mức nào đó trên mức trung bình đó để chỉ định các trường hợp bất thường.

Vì là dữ liệu chuỗi thời gian, bộ lọc theo cấp số nhân đơn giản http://en.wikipedia.org/wiki/Exponential_smoothing sẽ làm mịn dữ liệu. Đây là một bộ lọc rất tốt vì bạn không cần phải tích lũy các điểm dữ liệu cũ. Hãy so sánh mỗi mới được làm nhẵn giá trị dữ liệu với nó unsmoothed giá trị. Khi độ lệch vượt quá ngưỡng xác định trước nhất định (tùy thuộc vào những gì bạn tin là ngoại lệ trong dữ liệu của bạn), thì ngoại lệ của bạn có thể dễ dàng được phát hiện.

Trong CI sẽ thực hiện như sau đối với mẫu 16 bit thời gian thực (tôi tin rằng điều này được tìm thấy ở đâu đó tại đây <Giải thích - https://dsp.stackexchange.com/questions/378/what-is-the-best-first-order -iir-xấp xỉ-to-a-di chuyển-trung bình-bộ lọc >)

#define BITS2 2     //< This is roughly = log2( 1 / alpha ), depending on how smooth you want your data to be

short Simple_Exp_Filter(int new_sample) 
{static int filtered_sample = 0;
long local_sample = sample << 16; /*We assume it is a 16 bit sample */
filtered_sample += (local_sample - filtered_sample) >> BITS2;   
return (short) ((filtered_sample+0x8000) >> 16); //< Round by adding .5 and truncating.   
}


int main()
{
newly_arrived = function_receive_new_sample();
filtered_sample = Simple_Exp_Filter(newly_arrived);
if (abs(newly_arrived - filtered_sample)/newly_arrived > THRESHOLD)
    {
    //AN OUTLIER HAS BEEN FOUND
    }
 return 0;   
}

Bạn có thể sử dụng độ lệch chuẩn của các phép đo N cuối cùng (bạn phải chọn một N phù hợp). Điểm số dị thường tốt sẽ là số đo độ lệch chuẩn so với trung bình di động.

những gì tôi làm là nhóm các phép đo theo giờ và ngày trong tuần và so sánh độ lệch chuẩn của điều đó. Vẫn không đúng cho những thứ như ngày lễ và mùa hè / mùa đông nhưng hầu hết đều đúng.

Nhược điểm là bạn thực sự cần phải thu thập một năm hoặc lâu hơn dữ liệu để có đủ để stddev bắt đầu có ý nghĩa.

Tôi đề nghị chương trình dưới đây, có thể được thực hiện trong một ngày hoặc lâu hơn:

Đào tạo

• Thu thập càng nhiều mẫu bạn có thể giữ trong bộ nhớ
• Xóa các ngoại lệ rõ ràng bằng cách sử dụng độ lệch chuẩn cho từng thuộc tính
• Tính toán và lưu trữ ma trận tương quan và giá trị trung bình của từng thuộc tính
• Tính toán và lưu trữ khoảng cách Mahalanobis của tất cả các mẫu của bạn

Tính "vượt trội":

Đối với mẫu duy nhất mà bạn muốn biết "sự vượt trội" của nó:

• Lấy phương tiện, ma trận hiệp phương sai và khoảng cách Mahalanobis từ đào tạo
• Tính khoảng cách Mahalanobis "d" cho mẫu của bạn
• Trả về phần trăm trong đó "d" rơi (sử dụng khoảng cách Mahalanobis từ đào tạo)

Đó sẽ là điểm số ngoại lệ của bạn: 100% là một ngoại lệ cực đoan.

Đối với trường hợp người ta phải nhanh chóng tính toán các ngoại lệ, người ta có thể sử dụng ý tưởng của Rob Hyndman và Mahito Sugiyama ( https://github.com/BorgwardtLab/sampling-outlier-detection , thư viện (spout trước), hàm qsp) để tính toán các ngoại lệ như sau:

library(spoutlier)
rapidtsoutliers <- function(x,plot=FALSE,seed=123)
{
    set.seed(seed)
    x <- as.numeric(x)
    tt <- 1:length(x)
    qspscore <- qsp(x)
    limit <- quantile(qspscore,prob=c(0.95))
    score <- pmax((qspscore - limit),0)
    if(plot)
    {
        plot(x,type="l")
        x2 <- ts(rep(NA,length(x)))
        x2[score>0] <- x[score>0]
        tsp(x2) <- tsp(x)
        points(x2,pch=19,col="red")
        return(invisible(score))
    }
    else
        return(score)
}

phát hiện bất thường đòi hỏi phải xây dựng một phương trình mô tả kỳ vọng. Phát hiện can thiệp có sẵn trong cả môi trường phi nhân quả và nguyên nhân. Nếu một người có một loạt dự đoán như giá thì mọi thứ có thể hơi phức tạp. Các phản hồi khác ở đây dường như không tính đến nguyên nhân có thể gán được do các chuỗi dự đoán do người dùng chỉ định như giá cả và do đó có thể bị sai sót. Số lượng bán có thể phụ thuộc vào giá cả, có thể giá trước đó và có lẽ số lượng được bán trong quá khứ. Cơ sở để phát hiện sự bất thường (xung, xung theo mùa, thay đổi mức độ và xu hướng thời gian địa phương) được tìm thấy trong https://pdfs.semanticscholar.org/09c4/ba8dd3cc88289caf18d71e8985bdd11ad21c.pdf