Làm thế nào để phù hợp với một chức năng bước mạnh mẽ cho một chuỗi thời gian?

Tôi có một chuỗi thời gian hơi ồn ào dao động xung quanh các cấp độ khác nhau.

Ví dụ: dữ liệu sau:

Tôi có sẵn dữ liệu đường thẳng và tôi muốn có được ước tính cho đường đứt nét. Nó nên được liên tục piecewise.

Những thuật toán thích hợp để thử ở đây?

Ý tưởng của tôi cho đến nay vẫn xoay quanh các P-splines 0 độ (nhưng làm thế nào để tìm ra nơi đặt các nút thắt?) Hoặc các mô hình phá vỡ cấu trúc. Cây hồi quy là ý tưởng tốt nhất tôi hiện có, nhưng lý tưởng nhất là tôi sẽ tìm kiếm một phương pháp có tính đến thực tế là hai mức tại y = 250 có giá trị y bằng nhau. Nếu tôi hiểu chính xác, một cây hồi quy sẽ chia hai khoảng này thành hai nhóm khác nhau, mỗi nhóm có một giá trị trung bình khác nhau.

Mã R đã tạo ra nó là:

set.seed(20181118)
true_fct = stepfun(c(100, 200, 250), c(200, 250, 300, 250))
x = 1:400
y = true_fct(x) + rt(length(x), df=1)
plot(x, y, type="l")
lines(x, true_fct(x), lty=2, lwd=3)

Một phương pháp đơn giản, mạnh mẽ để xử lý nhiễu như vậy là tính toán trung vị.

Một dải trung vị lăn trên một cửa sổ ngắn sẽ phát hiện tất cả trừ các bước nhảy nhỏ nhất, trong khi các dải trung bình của phản ứng trong khoảng thời gian giữa các lần nhảy được phát hiện sẽ ước tính mạnh mẽ mức độ của chúng. (Bạn có thể thay thế ước tính sau này bằng bất kỳ ước tính mạnh mẽ nào không bị ảnh hưởng bởi các ngoại lệ.)

Bạn nên điều chỉnh phương pháp này với dữ liệu thực hoặc mô phỏng để đạt được tỷ lệ lỗi chấp nhận được. Ví dụ, đối với mô phỏng trong câu hỏi tôi thấy thật tốt khi sử dụng phân vị thứ hai và thứ 98 để đặt ngưỡng để phát hiện các bước nhảy. Trong các trường hợp khác - chẳng hạn như khi nhiều bước nhảy có thể xảy ra - phần trăm trung tâm sẽ hoạt động tốt hơn.

Dưới đây là kết quả cho thấy (a) ba lần nhảy là các chấm đỏ và (b) bốn mức ước tính là các đường màu xanh nhạt.

Các bước nhảy được ước tính xảy ra ở các chỉ số 100, 200, 250 (chính xác là nơi mô phỏng khiến chúng xảy ra) và các mức kết quả được ước tính là 199,6, 249,8, 300,0 và 250,2: tất cả trong vòng 0,4 giá trị cơ bản thực sự.

Hành vi tuyệt vời này vẫn tồn tại với các mô phỏng lặp đi lặp lại (loại bỏ set.seedlệnh ở đầu).

Đây là Rmã.

#
# Rolling medians.
#
rollmed <- function(x, k=3) {
  n <- length(x)
  x.med <- sapply(1:(n-k+10), function(i) median(x[i + 0:(k-1)]))
  l <- floor(k/2)
  c(rep(NA, l), x.med, rep(NA, k-l))
}
y.med <- rollmed(y, k=5)
#
# Changepoint analysis.
#
dy <- diff(y.med)
fourths <- quantile(dy, c(1,49)/50, na.rm=TRUE)
thresholds <- fourths + diff(fourths)*2.5*c(-1,1)
jumps <- which(dy < thresholds[1] | dy > thresholds[2]) + 1

points(jumps, y.med[jumps], pch=21, bg="Red")
#
# Plotting.
#
limits <- c(1, jumps, length(y)+1)
y.hat <- rep(NA, length(jumps)+1)
for (i in 1:(length(jumps)+1)) {
  j0 <- limits[i]
  j1 <- limits[i+1]-1
  y.hat[i] <- median(y[j0:j1])
  lines(x[j0:j1], rep(y.hat[i], j1-j0+1), col="skyblue", lwd=2)
}

Nếu bạn vẫn quan tâm đến việc làm mịn với các hình phạt L0, tôi sẽ xem qua tài liệu tham khảo sau: "Trực quan hóa các thay đổi gen bằng cách làm mịn phân đoạn bằng cách sử dụng hình phạt L0" - DOI: 10.1371 / tạp chí.pone.0038230 (một đoạn giới thiệu hay về Whittaker mượt hơn có thể được tìm thấy trong giấy P. Eilers "A mượt hoàn hảo hơn" - DOI: 10.1021 / ac034173t). Tất nhiên, để đạt được mục tiêu của bạn, bạn phải làm việc một chút xung quanh phương pháp.

Về nguyên tắc, bạn cần 3 thành phần:

1. Nhẹ nhàng hơn - Tôi sẽ sử dụng Whittaker mượt mà hơn. Ngoài ra, tôi sẽ sử dụng phép tăng ma trận (xem Eilers và Marx, 1996 - "Làm mịn linh hoạt với B-splines và Penalies", tr.101).
2. Hồi quy lượng tử - Tôi sẽ sử dụng gói lượng tử R (rho = 0,5) cho sự lười biếng :-)
3. Hình phạt L0 - Tôi sẽ theo dõi "Trực quan hóa các thay đổi gen bằng cách làm mịn phân đoạn bằng cách sử dụng hình phạt L0" - DOI: 10.1371 / tạp chí.pone.0038230

Tất nhiên, bạn cũng sẽ cần một cách để chọn mức độ làm mịn tối ưu. Điều này được thực hiện bởi mắt thợ mộc của tôi cho ví dụ này. Bạn có thể sử dụng các tiêu chí trong DOI: 10.1371 / Tạp chí.pone.0038230 (trang 5, nhưng tôi đã không thử nó trong ví dụ của bạn).

Bạn sẽ tìm thấy một mã nhỏ dưới đây. Tôi để lại một số ý kiến ​​như hướng dẫn thông qua nó.

# Cross Validated example
rm(list = ls()); graphics.off(); cat("\014")

library(splines)
library(Matrix)
library(quantreg)

# The data
set.seed(20181118)
n = 400
x = 1:n
true_fct = stepfun(c(100, 200, 250), c(200, 250, 300, 250))
y = true_fct(x) + rt(length(x), df = 1)

# Prepare bases - Identity matrix (Whittaker)
# Can be changed for B-splines
B = diag(1, n, n)

# Prepare penalty - lambda parameter fix
nb = ncol(B)
D = diff(diag(1, nb, nb), diff = 1)
lambda = 1e2

# Solve standard Whittaker - for initial values
a = solve(t(B) %*% B + crossprod(D), t(B) %*% y, tol = 1e-50)    

# est. loop with L0-Diff penalty as in DOI: 10.1371/journal.pone.0038230
p = 1e-6
nit = 100
beta = 1e-5

for (it in 1:nit) {
  ao = a

  # Penalty weights
  w = (c(D %*% a) ^ 2  + beta ^ 2) ^ ((p - 2)/2)
  W = diag(c(w))

  # Matrix augmentation
  cD = lambda * sqrt(W) %*% D
  Bp = rbind(B, cD)
  yp =  c(y, 1:nrow(cD)*0)

  # Update coefficients - rq.fit from quantreg
  a = rq.fit(Bp, yp, tau = 0.5)$coef

  # Check convergence and update
  da = max(abs((a - ao)/ao))
  cat(it, da, '\n')
  if (da < 1e-6) break
}

# Fit 
v = B %*% a

# Show results
plot(x, y, pch = 16, cex = 0.5)
lines(x, y, col = 8, lwd = 0.5)
lines(x, v, col = 'blue', lwd = 2)
lines(x, true_fct(x), col = 'red', lty = 2, lwd = 2)
legend("topright", legend = c("True Signal", "Smoothed signal"), 
       col = c("red", "blue"), lty = c(2, 1))

Tái bút Đây là câu trả lời đầu tiên của tôi về Xác thực chéo. Tôi hy vọng nó hữu ích và đủ rõ ràng :-)

Tôi sẽ xem xét sử dụng Outliers giấy của Ruey Tsay , thay đổi cấp độ và thay đổi phương sai trong mô hình phân biệt chuỗi thời gian với AR1 và 21 ngoại lệ.

Chúng tôi đã tắt differencng và sự thay đổi cấp độ được gọi cụ thể.