Định nghĩa splines khối tự nhiên cho hồi quy

Tôi đang tìm hiểu về splines từ cuốn sách "Các yếu tố của khai thác dữ liệu thống kê, suy luận và dự đoán" của Hastie et al. Tôi tìm thấy ở trang 145 rằng các khối vuông tự nhiên là tuyến tính vượt ra ngoài các nút thắt biên. Có $K$ hải lý, $\xi_1, \xi_2, ... \xi_K$ trong splines và sau được đưa ra về một spline như vậy trong cuốn sách.

Câu 1: 4 bậc tự do được giải phóng như thế nào? Tôi không có phần này.

Câu 2 : Trong định nghĩa của khi k = K thì d K ( X ) = $d_k(X)$$k=K$ . Tác giả đang cố gắng làm gì trong công thức này? Làm thế nào điều này giúp đảm bảo rằng các spline là tuyến tính vượt ra ngoài các nút biên?$d_K(X) = \frac 0 0$

1. Hãy bắt đầu bằng cách xem xét các splines khối thông thường. Chúng là hình khối giữa mỗi cặp nút thắt và khối bên ngoài nút thắt ranh giới. Chúng tôi bắt đầu với 4df cho khối thứ nhất (bên trái của nút biên đầu tiên) và mỗi nút thêm một tham số mới (vì tính liên tục của các khối và dẫn xuất khối và các đạo hàm thứ hai thêm ba ràng buộc, để lại một tham số tự do), tạo ra tổng cộng cho các nút $K+4$$K$

   Một spline khối tự nhiên là tuyến tính ở cả hai đầu. Điều này ràng buộc các phần hình khối và bậc hai ở đó bằng 0, mỗi phần giảm df bằng 1. Đó là 2 df ở mỗi hai đầu của đường cong, giảm xuống $K+4$$K$ .

   Hãy tưởng tượng bạn quyết định bạn có thể dành tổng số bậc tự do ( , giả sử) cho ước tính đường cong không tham số của bạn. Vì áp đặt một spline tự nhiên sử dụng ít hơn 4 bậc tự do so với một spline hình khối thông thường (cho cùng một số nút), với các tham số p đó, bạn có thể có thêm 4 nút thắt (và hơn 4 tham số nữa) để mô hình đường cong giữa các nút thắt .$p$$p$

2. Lưu ý rằng định nghĩa cho là cho k = 1 , 2 , . . . , K - 2 (vì có tất cả các hàm cơ bản K ). Vậy hàm cơ sở cuối cùng trong danh sách đó, N K = d K - 2 - d K - 1 . Vì vậy, k cao nhất cần thiết cho các định nghĩa của d k là cho k = K - . (Đó là, chúng ta không cần phải cố gắng tìm ra một số$N_{k+2}$$k=1,2,...,K-2$$K$$N_{K}=d_{K-2}-d_{K-1}$$k$$d_k$$k=K-1$ có thể làm, vì chúng ta không sử dụng nó.)$d_K$

$2$$\xi_1, \xi_2$$]-\infty, \xi_1[$$]\xi_1, \xi_2[$$]\xi_2, +\infty[$$|I|=3$$|I|-1=2$ nút thắt).

Đối với splines khối (phổ biến)

Không có ràng buộc thường xuyên, chúng ta có phương trình:$4|I|=12$

1 ( ξ 1 ≤ X < ξ 2 ) ; 1 ( ξ 1 ≤ X < ξ 2 ) X ;

$$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~\mathbf{1}(X < \xi_1)X^2~~;~~\mathbf{1}(X < \xi_1)X^3~~;$$ $$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$$ $$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X~~;~~\mathbf{1}(\xi_2 \leq X)X^2~~;~~\mathbf{1}(\xi_2 \leq X)X^3.$$

$\mathcal{C}^r$$r=2$$(r+1)\times(|I|-1) = 3\times(|I|-1) = 6$ constraints on the linear coefficients.

We end up with $12-6=6$ degree of freedom.

For natural cubic splines

"A natural cubic splines adds additional constraints, namely that function is linear beyond the boundary knots."

Without regularity constraints, we have $4|I|-4=12-4$ equations (we have removed $4$ equations, $2$ each in both boundary regions because they involve quadratic and cubic polynomials):

$$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~$$ $$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$$ $$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X.$$

The constraints are the same as before, so we still need to add $3\times(|I|-1) = 6$ constraints on the linear coefficients.

We end up with $8-6=2$ degree of freedom.