LOESS cho phép không liên tục

14

Có một kỹ thuật mô hình hóa như LOESS cho phép không, một hoặc nhiều điểm không liên tục, trong đó thời gian của sự không liên tục không được biết đến apriori?
Nếu một kỹ thuật tồn tại, có một triển khai hiện có trong R không?

— Jeromy Anglim
nguồn

1

sự không liên tục tại các giá trị x đã biết hoặc tại các giá trị x chưa biết? (biết x là đủ dễ dàng)

— Glen_b -Reinstate Monica

@glen Tôi đã cập nhật câu hỏi: Tôi quan tâm đến các tình huống mà thời gian không liên tục không được biết đến apriori.

— Jeromy Anglim

Đây có thể là một câu hỏi mô phỏng / ngu ngốc, nhưng bạn nói "thời gian": đây có phải là để sử dụng với chuỗi thời gian? Tôi tin rằng hầu hết các câu trả lời dưới đây đều cho rằng điều này ("changepoint, v.v."), mặc dù LOESS có thể được áp dụng trong các tình huống không phải là chuỗi thời gian, với sự không liên tục. Tôi nghĩ.

— Wayne

15

Có vẻ như bạn muốn thực hiện nhiều phát hiện thay đổi sau đó là làm mịn độc lập trong mỗi phân đoạn. (Phát hiện có thể trực tuyến hoặc không, nhưng ứng dụng của bạn không có khả năng trực tuyến.) Có rất nhiều tài liệu về điều này; Tìm kiếm trên Internet có kết quả.

DA Stephens đã viết một bài giới thiệu hữu ích về phát hiện thay đổi Bayes vào năm 1994 (Ứng dụng. 43 # 1 trang 159-178: JSTOR ).
Gần đây, Paul Fearnhead đã làm rất tốt (ví dụ, suy luận Bayes chính xác và hiệu quả cho nhiều vấn đề thay đổi , Stat Comput (2006) 16: 203-213: PDF miễn phí ).
Một thuật toán đệ quy tồn tại, dựa trên một phân tích đẹp của D Barry & JA Hartigan
- Mô hình phân vùng sản phẩm cho các mô hình điểm thay đổi, Ann. Thống kê 20: 260-279: JSTOR ;
- Một phân tích Bayesian để thay đổi điểm vấn đề, Jasa 88: 309-319: JSTOR .
Một triển khai của thuật toán Barry & Hartigan được ghi lại trong O. Seidou & TBMJ Ourda, Phát hiện nhiều thay đổi dựa trên đệ quy trong hồi quy tuyến tính đa biến và ứng dụng cho dòng chảy sông, độ phân giải nước. Res., 2006: PDF miễn phí .

Tôi đã không tìm kiếm bất kỳ triển khai R nào (tôi đã mã hóa một trong Mathicala trước đây) nhưng sẽ đánh giá cao một tài liệu tham khảo nếu bạn tìm thấy.

— whuber
nguồn

3

Tôi tìm thấy gói bcp R jstatsoft.org/v23/i03/apers thực hiện thuật toán Barry & Hartigan

— Jeromy Anglim

@Jeromy: Cảm ơn bạn về gói R và đã chèn các liên kết đến các tài liệu tham khảo.

— whuber

7

làm điều đó với hồi quy dòng bị hỏng của koencker, xem trang 18 của họa tiết này

http://cran.r-project.org/web/packages/quantreg/vignettes/rq.pdf

Đáp lại bình luận cuối cùng của Whuber:

Công cụ ước tính này được định nghĩa như thế này.

, $x\in\mathbb{R}$ , $x_{(i)}\geq x_{(i-1)}\;\forall i$

$e_i:=y_{i}-\beta_{i}x_{(i)}-\beta_0$ ,

, , $z^+=\max(z,0)$ $z^-=\max(-z,0)$

, $\tau \in (0,1)$ $\lambda\geq 0$

$\underset{\beta\in\mathbb{R}^n|\tau, \lambda}{\min.} \sum_{i=1}^{n} \tau e_i^++\sum_{i=1}^{n}(1-\tau)e_i^-+\lambda\sum_{i=2}^{n}|\beta_{i}-\beta_{i-1}|$

cung cấp cho các quantile mong muốn (ví dụ trong ví dụ, ). đạo số breakpoint: cho $\tau$ $\tau=0.9$ $\lambda$ $\lambda$ co lại lớn ước lượng này không có điểm break (tương ứng với classicla tuyến tính quantile hồi quy ước lượng).

Splines Smoothing Splines Roger Koenker, Pin Ng, Stephen Portnoy Biometrika, Vol. 81, số 4 (tháng 12 năm 1994), trang 673-680

Tái bút: có một tài liệu làm việc mở với cùng tên của những người khác nhưng nó không giống nhau.

— người dùng603
nguồn

Đó là một ý tưởng gọn gàng: cảm ơn đã tham khảo. Tuy nhiên, phần dư cho sự phù hợp đặc biệt đó trông khá tệ, điều đó khiến tôi tự hỏi làm thế nào nó xác định được các điểm thay đổi tiềm năng.

— whuber

whuber: tôi không biết bạn quen thuộc với lý thuyết hồi quy lượng tử đến mức nào. Những dòng này có một lợi thế lớn so với spline: chúng không giả sử bất kỳ phân phối lỗi nào (tức là chúng không giả sử phần dư là Gaussian).

— user603

@kwak Cái này có vẻ thú vị. Không cho rằng phân phối lỗi bình thường sẽ hữu ích cho một trong các ứng dụng của tôi.

— Jeromy Anglim

Indeed, what you get out of this estimation are actual conditionnal quantiles: in a nutshell, these are to splines/LOESS-regressions what boxplots are to the couple (mean, s.d.): a much richer view of your data. They also retain there validity in non gaussian context (such as assymetric errors,...).

— user603

@kwak: The residuals are heavily correlated with the x-coordinate. For example, there are long runs of negative or small positive residuals. Whether they have a Gaussian distribution or not, then, is immaterial (as well as irrelevant in any exploratory analysis): this correlation shows that the fit is poor.

— whuber

6

Dưới đây là một số phương pháp và các gói R liên quan để giải quyết vấn đề này

Ước lượng của Wavelet trong hồi quy cho phép bất đồng. Bạn có thể sử dụng gói wavethresh trong R.

Rất nhiều phương pháp dựa trên cây (không xa ý tưởng của wavelet) là hữu ích khi bạn có sự bất đồng. Do đó gói treethresh, gói cây!

Trong các phương pháp " khả năng tối đa cục bộ " ... trong số các phương pháp khác: Công việc của Pozhel và Spokoiny: Trọng lượng thích ứng Làm mịn (gói aws) Công việc của Catherine Loader: gói locfit

Tôi đoán bất kỳ hạt nhân nào mượt mà hơn với băng thông thay đổi cục bộ sẽ tạo ra điểm nhưng tôi không biết gói R cho điều đó.

lưu ý: Tôi không thực sự hiểu được sự khác biệt giữa LOESS và hồi quy ... có phải ý tưởng rằng trong thuật toán LOESS phải là "trên mạng"?

— cướp girard
nguồn

1

Re LOESS: Có lẽ thuật ngữ của tôi không hoàn toàn đúng. Bằng LOESS Tôi đang đề cập đến các mô hình dự đoán Y từ X bằng cách sử dụng một số hình thức khớp đường cong cục bộ. ví dụ, như đã thấy trong hầu hết các biểu đồ này: google.com/ Từ

— Jeromy Anglim

2

It should be possible to code a solution in R using the non-linear regression function nls, b splines (the bs function in the spline package, for example) and the ifelse function.

— Andrew Robinson
nguồn