Thực hiện hồi quy tuyến tính, nhưng buộc giải pháp phải đi qua một số điểm dữ liệu cụ thể

Tôi biết làm thế nào để thực hiện hồi quy tuyến tính trên một tập hợp các điểm. Đó là, tôi biết làm thế nào để phù hợp với một đa thức của sự lựa chọn của tôi, với một tập dữ liệu nhất định, (theo nghĩa LSE). Tuy nhiên, điều tôi không biết, là làm thế nào để buộc giải pháp của tôi đi qua một số điểm cụ thể mà tôi chọn. Tôi đã thấy điều này được thực hiện trước đây, nhưng tôi không thể nhớ thủ tục được gọi là gì, chứ đừng nói đến việc nó được thực hiện như thế nào.

Như một ví dụ rất đơn giản và cụ thể, chúng ta hãy nói rằng tôi có 100 điểm nằm rải rác trên mặt phẳng xy và tôi chọn điều chỉnh một đa thức bất kỳ thứ tự nào thông qua chúng. Tôi biết làm thế nào để thực hiện hồi quy tuyến tính này rất tốt. Tuy nhiên, chúng ta hãy nói rằng tôi muốn 'lực' giải pháp của tôi, phải đi qua, nói rằng, ba điểm dữ liệu của tôi tại x-tọa độ $x=3$ , $x=19$ , và , (và tương ứng với tọa độ y của họ tất nhiên).$x=89$

Thủ tục chung này được gọi là gì, nó được thực hiện như thế nào và có những cạm bẫy cụ thể nào tôi cần phải biết không?

Biên tập:

Tôi muốn nói thêm rằng tôi đang tìm kiếm một cách cụ thể để làm điều này. Tôi đã viết một chương trình thực sự thực hiện hồi quy tuyến tính theo một trong hai cách, đảo ngược trực tiếp ma trận hiệp phương sai hoặc thông qua việc giảm độ dốc. Những gì tôi đang hỏi là, làm thế nào, chính xác, từng bước một, tôi có sửa đổi những gì tôi đã làm không, để tôi buộc giải pháp đa thức phải đi qua các điểm cụ thể?

Cảm ơn!

Mô hình trong câu hỏi có thể được viết

Trong đó là đa thức bậc d - 1 đi qua các điểm đã định trước ( x 1 , y 1 ) , Câu , ( x d , y d ) và ε là ngẫu nhiên. (Sử dụng Lagrange nội suy đa thức .) Viết ( x - x 1 ) ⋯ ( x - x d ) = $p(x_i) = y_i$$d-1$$(x_1,y_1), \ldots, (x_d,y_d)$$\varepsilon$ cho phép chúng tôi viết lại mô hình này như$(x-x_1)\cdots(x-x_d) = r(x)$

mà là một OLS tiêu chuẩn vấn đề nhiều hồi quy với cấu trúc lỗi tương tự như bản gốc nơi các biến độc lập là lượng r ( x ) x i , i = 0 , 1 , ... , p . Đơn giản chỉ cần tính toán các biến này và chạy phần mềm hồi quy quen thuộc của bạn , đảm bảo ngăn chặn nó bao gồm một thuật ngữ không đổi. Những cảnh báo thông thường về hồi quy mà không áp dụng một thuật ngữ liên tục; đặc biệt, R 2 có thể cao một cách giả tạo; các giải thích thông thường không áp dụng.$p+1$$r(x)x^i,$ $i=0, 1, \ldots, p$$R^2$

(Trong thực tế, hồi quy qua gốc là một trường hợp đặc biệt của xây dựng này, nơi , ( x 1 , y 1 ) = ( 0 , 0 ) , và p ( x ) = 0 , do đó mô hình này là y = β 0 x + ⋯ + β p x p + 1 + ε . )$d=1$$(x_1,y_1) = (0,0)$$p(x)=0$$y = \beta_0 x + \cdots + \beta_p x^{p+1} + \varepsilon.$

Dưới đây là một ví dụ hoạt động (trong R)

# Generate some data that *do* pass through three points (up to random error).
x <- 1:24
f <- function(x) ( (x-2)*(x-12) + (x-2)*(x-23) + (x-12)*(x-23) )  / 100
y0 <-(x-2) * (x-12) * (x-23) * (1 + x - (x/24)^2) / 10^4  + f(x)
set.seed(17)
eps <- rnorm(length(y0), mean=0, 1/2)
y <- y0 + eps
data <- data.frame(x,y)

# Plot the data and the three special points.
plot(data)
points(cbind(c(2,12,23), f(c(2,12,23))), pch=19, col="Red", cex=1.5)

# For comparison, conduct unconstrained polynomial regression
data$x2 <- x^2
data$x3 <- x^3
data$x4 <- x^4

fit0 <- lm(y ~ x + x2 + x3 + x4, data=data)
lines(predict(fit0), lty=2, lwd=2)

# Conduct the constrained regressions
data$y1 <- y - f(x)
data$r <- (x-2)*(x-12)*(x-23)
data$z0 <- data$r
data$z1 <- data$r * x
data$z2 <- data$r * x^2

fit <- lm(y1 ~ z0 + z1 + z2 - 1, data=data)
lines(predict(fit) + f(x), col="Red", lwd=2)

Ba điểm cố định được hiển thị bằng màu đỏ đặc - chúng không phải là một phần của dữ liệu. Phù hợp với bình phương tối thiểu bậc bốn không giới hạn bậc bốn được hiển thị với một đường chấm màu đen (nó có năm tham số); sự phù hợp bị ràng buộc (theo thứ tự năm, nhưng chỉ có ba tham số miễn phí) được hiển thị với dòng màu đỏ.

Kiểm tra đầu ra bình phương nhỏ nhất ( summary(fit0)và summary(fit)) có thể mang tính hướng dẫn - Tôi để việc này cho người đọc quan tâm.

$(x_i,y_i)$$x_i$$x$$y_i$$y$

Nếu bạn muốn buộc một đường thẳng đi qua hai điểm trong mặt phẳng XY, điều đó cũng khá dễ thực hiện. Bất kỳ hai điểm có thể phù hợp với một dòng. Bạn có thể sử dụng công thức độ dốc điểm để tính độ dốc của mình, sau đó sử dụng một trong các điểm, độ dốc và phương trình của đường thẳng để tìm đường chặn.

$X$$X^2$

Tôi cảm thấy bắt buộc phải đề cập đến vào thời điểm này, tuy nhiên, điều này có thể không phải là một điều tuyệt vời để làm (trừ khi lý thuyết của bạn cung cấp lý do rất chắc chắn để làm như vậy). Bạn cũng có thể muốn xem xét hồi quy Bayes , nơi bạn có thể cho phép mô hình của mình tìm thấy sự kết hợp tốt nhất của thông tin trong dữ liệu của bạn và một số thông tin trước đó (ví dụ, bạn có thể sử dụng để thiên vị mạnh mẽ cho việc chặn của bạn về 0 buộc nó).

Để thêm một chút thông tin vào phạm vi bảo hiểm tuyệt vời của trường hợp tuyến tính, trong trường hợp đa thức bậc cao, có một số cách bạn có thể thực hiện chính xác hoặc xấp xỉ (nhưng chính xác như bạn cần).

Đầu tiên, lưu ý rằng mức độ tự do cho đa thức (hoặc thực sự của bất kỳ hàm được trang bị nào) phải lớn nhất bằng số điểm "đã biết". Nếu mức độ tự do là bằng nhau, bạn hoàn toàn không cần dữ liệu, vì đường cong hoàn toàn được xác định. Nếu có nhiều điểm 'đã biết' hơn, bạn không thể giải quyết nó (trừ khi tất cả chúng đều nằm trên chính xác cùng một đa thức của mức độ được chỉ định trong trường hợp bất kỳ tập hợp con có kích thước phù hợp nào cũng đủ). Từ đây trở đi, tôi sẽ chỉ nói về khi đa thức có nhiều df hơn các điểm đã biết (chẳng hạn như một khối - với 4df - và ba điểm đã biết, để khối không bị quá hạn bởi các điểm đã biết và cũng không hoàn toàn được xác định bởi chúng) .

1) "đường cong phải đi qua điểm này" là một ràng buộc tuyến tính trên các tham số, dẫn đến ước lượng bị ràng buộc hoặc bình phương tối thiểu bị ràng buộc (mặc dù cả hai thuật ngữ có thể bao gồm những thứ khác ngoài ràng buộc tuyến tính, chẳng hạn như ràng buộc tích cực). Bạn có thể kết hợp các ràng buộc tuyến tính bằng một trong hai

  (a) truy xuất tham số hóa để bao gồm ngầm định từng ràng buộc dẫn đến một mô hình bậc thấp hơn.

  (b) sử dụng các công cụ tiêu chuẩn có thể kết hợp các ràng buộc tuyến tính trên các tham số của một hình vuông nhỏ nhất phù hợp. (thường thông qua một cái gì đó giống như công thức được đưa ra ở liên kết trên)

2) Một cách khác là thông qua hồi quy có trọng số. Nếu bạn cho các điểm đã biết đủ trọng lượng lớn, về cơ bản bạn có thể có được sự phù hợp tương tự như trong (1). Điều này thường được thực hiện dễ dàng, có thể nhanh hơn đáng kể so với việc xác định lại thông số và có thể được thực hiện trong các gói không cung cấp sự phù hợp hạn chế.

Áp dụng tất cả các cảnh báo của @ gung