Làm thế nào để thực hiện hồi quy tuyến tính piecewise với nhiều nút thắt chưa biết?

Có gói nào để thực hiện hồi quy tuyến tính piecewise, có thể tự động phát hiện nhiều nút thắt không? Cảm ơn. Khi tôi sử dụng gói strucchange. Tôi không thể phát hiện các điểm thay đổi. Tôi không biết làm thế nào nó phát hiện các điểm thay đổi. Từ các lô, tôi có thể thấy có một số điểm tôi muốn nó có thể giúp tôi chọn ra. Bất cứ ai có thể đưa ra một ví dụ ở đây?

Would MARS được áp dụng? R có gói earththực hiện nó.

Nói chung, hơi kỳ quặc khi muốn phù hợp với một cái gì đó như tuyến tính mảnh. Tuy nhiên, nếu bạn thực sự muốn làm như vậy, thì thuật toán MARS là trực tiếp nhất. Nó sẽ xây dựng một chức năng một nút thắt tại một thời điểm; và sau đó thường cắt tỉa lại số nút thắt để chống lại các cây quyết định ala quá phù hợp. Bạn có thể truy cập đại số MARS trong R thông qua earthhoặc mda. Nói chung, nó phù hợp với GCV không bị loại bỏ khỏi tiêu chí thông tin khác (AIC, BIC, v.v.)

MARS sẽ không thực sự mang đến cho bạn sự phù hợp "tối ưu" vì các nút thắt được phát triển cùng một lúc. Thực sự sẽ rất khó để phù hợp với số lượng nút thắt "tối ưu" thực sự vì các hoán vị có thể có của các vị trí nút sẽ nhanh chóng phát nổ.

Nói chung, đây là lý do tại sao mọi người chuyển sang làm mịn splines. Hầu hết các spline làm mịn là hình khối chỉ để bạn có thể đánh lừa mắt người để bỏ lỡ những điểm không liên tục. Tuy nhiên, hoàn toàn có thể thực hiện một spline làm mịn tuyến tính. Ưu điểm lớn của làm mịn splines là tham số duy nhất của chúng để tối ưu hóa. Điều đó cho phép bạn nhanh chóng đạt được một giải pháp thực sự "tối ưu" mà không cần phải tìm kiếm thông qua các hoán vị. Tuy nhiên, nếu bạn thực sự muốn tìm kiếm các điểm uốn và bạn có đủ dữ liệu để làm như vậy, thì một cái gì đó như MARS có thể là lựa chọn tốt nhất của bạn.

Dưới đây là một số mã ví dụ cho các spline làm mịn tuyến tính bị phạt trong R:

require(mgcv);data(iris);
gam.test <- gam(Sepal.Length ~ s(Petal.Width,k=6,bs='ps',m=0),data=iris)
summary(gam.test);plot(gam.test);

Các nút thắt thực tế được chọn sẽ không nhất thiết tương quan với bất kỳ điểm uốn thực sự nào.

Tôi đã lập trình điều này từ đầu một vài năm trước đây và tôi có một tệp Matlab để thực hiện hồi quy tuyến tính mảnh khôn ngoan trên máy tính của mình. Khoảng 1 đến 4 điểm dừng là có thể tính toán cho khoảng 20 điểm đo hoặc hơn. 5 hoặc 7 điểm phá vỡ bắt đầu thực sự quá nhiều.

Cách tiếp cận toán học thuần túy như tôi thấy là thử tất cả các kết hợp có thể theo đề xuất của người dùng mbq trong câu hỏi được liên kết trong nhận xét bên dưới câu hỏi của bạn.

Vì các đường được trang bị đều liên tiếp và liền kề (không trùng lặp), tổ hợp sẽ theo tam giác Pascals. Nếu có sự chồng chéo giữa các điểm dữ liệu được sử dụng bởi các phân đoạn dòng, tôi tin rằng tổ hợp sẽ theo số Stirling của loại thứ hai thay thế.

Giải pháp tốt nhất trong tâm trí của tôi là chọn kết hợp các đường được trang bị có độ lệch chuẩn thấp nhất trong các giá trị tương quan R ^ 2 của các đường được trang bị. Tôi sẽ cố gắng giải thích với một ví dụ. Hãy ghi nhớ rằng việc hỏi có bao nhiêu điểm dừng trong dữ liệu, tương tự như đặt câu hỏi "Bờ biển nước Anh dài bao nhiêu?" như trong một trong những bài viết của Benoit Mandelbrots (một nhà toán học) về fractals. Và có một sự đánh đổi giữa số điểm phá vỡ và độ sâu hồi quy.

Bây giờ đến ví dụ.

$y$$x$$x$$y$

$$\begin{array}{|c|c|c|c|c|c|} \hline &x &y &R^2 line 1 &R^2 line 2 &sum of R^2 values &standard deviation of R^2 \\ \hline &1 &1 &1,000 &0,0400 &1,0400 &0,6788 \\ \hline &2 &2 &1,000 &0,0118 &1,0118 &0,6987 \\ \hline &3 &3 &1,000 &0,0004 &1,0004 &0,7067 \\ \hline &4 &4 &1,000 &0,0031 &1,0031 &0,7048 \\ \hline &5 &5 &1,000 &0,0135 &1,0135 &0,6974 \\ \hline &6 &6 &1,000 &0,0238 &1,0238 &0,6902 \\ \hline &7 &7 &1,000 &0,0277 &1,0277 &0,6874 \\ \hline &8 &8 &1,000 &0,0222 &1,0222 &0,6913 \\ \hline &9 &9 &1,000 &0,0093 &1,0093 &0,7004 \\ \hline &10 &10 &1,000 &-1,978 &1,000 &0,7071 \\ \hline &11 &9 &0,9709 &0,0271 &0,9980 &0,6673 \\ \hline &12 &8 &0,8951 &0,1139 &1,0090 &0,5523 \\ \hline &13 &7 &0,7734 &0,2558 &1,0292 &0,3659 \\ \hline &14 &6 &0,6134 &0,4321 &1,0455 &0,1281 \\ \hline &15 &5 &0,4321 &0,6134 &1,0455 &0,1282 \\ \hline &16 &4 &0,2558 &0,7733 &1,0291 &0,3659 \\ \hline &17 &3 &0,1139 &0,8951 &1,0090 &0,5523 \\ \hline &18 &2 &0,0272 &0,9708 &0,9980 &0,6672 \\ \hline &19 &1 &0 &1,000 &1,000 &0,7071 \\ \hline &20 &2 &0,0094 &1,000 &1,0094 &0,7004 \\ \hline &21 &3 &0,0222 &1,000 &1,0222 &0,6914 \\ \hline &22 &4 &0,0278 &1,000 &1,0278 &0,6874 \\ \hline &23 &5 &0,0239 &1,000 &1,0239 &0,6902 \\ \hline &24 &6 &0,0136 &1,000 &1,0136 &0,6974 \\ \hline &25 &7 &0,0032 &1,000 &1,0032 &0,7048 \\ \hline &26 &8 &0,0004 &1,000 &1,0004 &0,7068 \\ \hline &27 &9 &0,0118 &1,000 &1,0118 &0,6987 \\ \hline &28 &10 &0,04 &1,000 &1,04 &0,6788 \\ \hline \end{array}$$

These y values have the graph:

Which clearly has two break points. For the sake of argument we will calculate the R^2 correlation values (with the Excel cell formulas (European dot-comma style)):

=INDEX(LINEST(B1:$B$1;A1:$A$1;TRUE;TRUE);3;1)
=INDEX(LINEST(B1:$B$28;A1:$A$28;TRUE;TRUE);3;1)

for all possible non-overlapping combinations of two fitted lines. All the possible pairs of R^2 values have the graph:

The question is which pair of R^2 values should we choose, and how do we generalize to multiple break points as asked in the title? One choice is to pick the combination for which the sum of the R-square correlation is the highest. Plotting this we get the upper blue curve below:

The blue curve, the sum of the R-squared values, is the highest in the middle. This is more clearly visible from the table with the value $1,0455$ as the highest value. However it is my opinion that the minimum of the red curve is more accurate. That is, the minimum of the standard deviation of the R^2 values of the fitted regression lines should be the best choice.

Piece wise linear regression - Matlab - multiple break points

There is a pretty nice algorithm described in Tomé and Miranda (1984).

The proposed methodology uses a least-squares approach to compute the best continuous set of straight lines that fit a given time series, subject to a number of constraints on the minimum distance between breakpoints and on the minimum trend change at each breakpoint.

The code and a GUI are available in both Fortran and IDL from their website: http://www.dfisica.ubi.pt/~artome/linearstep.html

... first of all you must to do it by iterations, and under some informative criterion, like AIC AICc BIC Cp; because you can get an "ideal" fit, if number of knots K = number od data points N, ok. ... first put K = 0; estimate L = K + 1 regressions, calculate AICc, for instance; then assume minimal number of data points at a separate segment, say L = 3 or L = 4, ok ... put K = 1; start from L-th data as the first knot, calculate SS or MLE, ... and step by step the next data point as a knot, SS or MLE, up to the last knot at the N - L data; choose the arrangement with the best fit (SS or MLE) calculate AICc ... ... put K = 2; ... use all previous regressions (that is their SS or MLE), but step by step divide a single segment into all possible parts ... choose the arrangement with the best fit (SS or MLE) calculate AICc ... if the last AICc occurs greater then the previous one: stop the iterations ! This is an optimal solution under AICc criterion, ok

I once came across a program called Joinpoint. On their website they say it fits a joinpoint model where "several different lines are connected together at the 'joinpoints'". And further: "The user supplies the minimum and maximum number of joinpoints. The program starts with the minimum number of joinpoint (e.g. 0 joinpoints, which is a straight line) and tests whether more joinpoints are statistically significant and must be added to the model (up to that maximum number)."

NCI sử dụng nó để mô hình hóa xu hướng tỷ lệ ung thư, có thể nó cũng phù hợp với nhu cầu của bạn.

Để phù hợp với dữ liệu một chức năng từng phần:

Ở đâu $a_1 , a_2 , p_1 , q_1, p_2 , q_2 , p_3 , q_3$là các tham số chưa biết được tính toán xấp xỉ, có một phương pháp rất đơn giản (không lặp, không đoán ban đầu, dễ viết mã trong bất kỳ ngôn ngữ máy tính toán học nào). Lý thuyết được đưa ra ở trang 29 trên giấy: https://fr.scribed.com/document/380941024/Regression-par-morceaux-Piecewise-Regression-pdf và từ trang 30:

Ví dụ: với dữ liệu chính xác được cung cấp bởi Mats Granvik, kết quả là:

Không có dữ liệu phân tán, ví dụ này không có ý nghĩa lắm. Các ví dụ khác với dữ liệu phân tán được hiển thị trong bài viết được tham chiếu.

Bạn có thể dùng mcp gói nếu bạn biết số lượng điểm thay đổi để suy ra. Nó cung cấp cho bạn tính linh hoạt mô hình tuyệt vời và nhiều thông tin về các điểm thay đổi và tham số hồi quy, nhưng với chi phí tốc độ.

Trang web mcp chứa nhiều ví dụ được áp dụng, ví dụ:

library(mcp)

# Define the model
model = list(
  response ~ 1,  # plateau (int_1)
  ~ 0 + time,    # joined slope (time_2) at cp_1
  ~ 1 + time     # disjoined slope (int_3, time_3) at cp_2
)

# Fit it. The `ex_demo` dataset is included in mcp
fit = mcp(model, data = ex_demo)

Sau đó, bạn có thể hình dung:

plot(fit)

Hoặc tóm tắt:

summary(fit)

Family: gaussian(link = 'identity')
Iterations: 9000 from 3 chains.
Segments:
  1: response ~ 1
  2: response ~ 1 ~ 0 + time
  3: response ~ 1 ~ 1 + time

Population-level parameters:
    name match  sim  mean lower  upper Rhat n.eff
    cp_1    OK 30.0 30.27 23.19 38.760    1   384
    cp_2    OK 70.0 69.78 69.27 70.238    1  5792
   int_1    OK 10.0 10.26  8.82 11.768    1  1480
   int_3    OK  0.0  0.44 -2.49  3.428    1   810
 sigma_1    OK  4.0  4.01  3.43  4.591    1  3852
  time_2    OK  0.5  0.53  0.40  0.662    1   437
  time_3    OK -0.2 -0.22 -0.38 -0.035    1   834

Tuyên bố miễn trừ trách nhiệm: Tôi là nhà phát triển của mcp.