Giải thích xác suất của Splines Smooth Smooth Splines

TLDR: Các spline hồi quy tấm mỏng có giải thích xác suất / Bayes không?

Cho các cặp đầu vào-đầu ra , ; Tôi muốn ước tính hàm như sau trong đó là hàm kernel và là một vectơ đặc trưng có kích thước . Các hệ số và có thể được tìm thấy bằng cách giải quyết trong đó các hàng của \ Phi được cho bởi$(x_i,y_i)$$i=1,...,n$$f(\cdot)$

$$\begin{equation}f(x)\approx u(x)=\phi(x_i)^T\beta +\sum_{i=1}^n \alpha_i k(x,x_i),\end{equation}$$ $k(\cdot,\cdot)$$\phi(x_i)$$m<n$$\alpha_i$$\beta_i$ $$\begin{equation} {\displaystyle \min _{\alpha\in R^{n},\beta \in R^{m}}{\frac {1}{n}}\|Y-\Phi\beta -K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$$ $\Phi$$\phi(x_i)^T$ và, với một số lạm dụng ký hiệu, mục nhập thứ $i,j$ của ma trận hạt nhân $K$ là ${\displaystyle k(x_{i},x_{j})}$ . Điều này mang lại cho $$\begin{equation} \alpha^*=\lambda^{-1}(I+\lambda^{-1}K)^{-1}(Y-\Phi\beta^*) \end{equation}$$ $$\begin{equation} \beta^*=\{\Phi^T(I+\lambda^{-1}K)^{-1}\Phi\}^{-1}\Phi^T(I+\lambda^{-1}K)^{-1}Y. \end{equation}$$ Giả sử $k(\cdot,\cdot)$ là hàm nhân xác định dương, giải pháp này có thể được xem là Công cụ dự đoán tuyến tính tốt nhất cho mô hình Bayes sau: $$\begin{equation} y~\vert~(\beta,h(\cdot))~\sim~N(\phi(x)\beta+h(x),\sigma^2), \end{equation}$$ $$\begin{equation} h(\cdot)~\sim~GP(0,\tau k(\cdot,\cdot)), \end{equation}$$ $$\begin{equation} \beta\propto1, \end{equation}$$ trong đó $\sigma^2/\tau=\lambda$ và $GP$ biểu thị một quy trình Gaussian. Xem ví dụ https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2665800/

Câu hỏi của tôi là như sau. Giả sử tôi cho $k(x,x'):=|x-x'|^2 \ln(|x-x'|)$ và $\phi(x)^T=(1,x)$ , tức là spline tấm mỏng hồi quy. Bây giờ, $k(\cdot,\cdot)$ không phải là hàm semidefinite dương và cách giải thích ở trên không hoạt động. Liệu mô hình trên và giải pháp của nó vẫn có một giải thích xác suất như trong trường hợp $k(\cdot,\cdot)$ là semidefinite dương?

Hãy để mô hình của câu hỏi được viết là trong đó là một GP không quan sát được với chỉ số và là một thuật ngữ tiếng ồn bình thường với phương sai . GP thường được coi là trung tâm, đứng yên và không xác định. Lưu ý rằng thuật ngữ có thể được coi là GP (xác định) với kernel trong đó

$$\begin{equation} \tag{1} Y_i = \boldsymbol{\phi}(\mathbf{x}_i)^\top\boldsymbol{\beta} + h(\mathbf{x}_i) + \varepsilon_i \end{equation}$$ $h(\mathbf{x})$$\mathbf{x} \in \mathbb{R}^d$$\varepsilon_i$$\sigma^2$$\boldsymbol{\phi}(\mathbf{x})^\top \boldsymbol{\beta}$$\boldsymbol{\phi}(\mathbf{x})^\top \mathbf{B}\, \boldsymbol{\phi}(\mathbf{x})$$\mathbf{B}$là một ma trận hiệp phương sai `` có giá trị vô hạn ''. Thật vậy, bằng cách lấy với chúng ta có được các phương trình giải quyết câu hỏi. Điều này thường được đặt tên là khuếch tán trước cho . Một kết quả thích hợp cho chỉ có kết quả khi ma trận có thứ hạng đầy đủ. Vì vậy, mô hình viết cũng như trong đó là GP . Giải thích Bayes tương tự có thể được sử dụng với các hạn chế khi không còn là GP mà là một$\mathbf{B} := \rho \, \mathbf{I}$$\rho \to \infty$$\boldsymbol{\beta}$$\boldsymbol{\beta}$$\boldsymbol{\Phi}$ $$\begin{equation} \tag{2} Y_i = \zeta(\mathbf{x}_i) + \varepsilon_i \end{equation}$$ $\zeta(\mathbf{x})$$\zeta(\mathbf{x})$Chức năng ngẫu nhiên nội tại (IRF). Đạo hàm có thể được tìm thấy trong cuốn sách của G. Wahba. Các bài thuyết trình dễ đọc về khái niệm IRF là ví dụ trong cuốn sách của N. Cressie và bài viết của Mardia et al trích dẫn dưới đây. IRF tương tự như các quy trình tích hợp nổi tiếng trong bối cảnh thời gian rời rạc (như ARIMA): IRF được chuyển đổi thành GP cổ điển bằng một loại hoạt động khác biệt.

Đây là hai ví dụ về IRF cho . Đầu tiên, hãy xem xét quá trình Wiener với điều kiện ban đầu thay thế bằng điều kiện ban đầu khuếch tán : là bình thường với phương sai vô hạn. Khi đã biết giá trị , IRF có thể được dự đoán là Wiener GP. Thứ hai, hãy xem xét một quá trình Wiener tích hợp được đưa ra bởi phương trình trong đó là một quá trình Wiener. Để có GP, bây giờ chúng ta cần hai tham số vô hướng: hai giá trị và cho$d=1$$\zeta(x)$$\zeta(0) = 0$$\zeta(0)$$\zeta(x)$

$$\text{d}^2 \zeta(x) / \text{d}x^2 = \text{d} W(x)/\text{d}x$$ $W(x)$$\zeta(x)$$\zeta(x')$$x \neq x'$hoặc các giá trị và tại một số được chọn . Chúng ta có thể xem xét rằng hai tham số phụ là cùng một Gaussian với ma trận hiệp phương sai vô hạn . Trong cả hai ví dụ, ngay khi có sẵn một bộ quan sát hữu hạn phù hợp, IRF gần như được đối phó như một GP. Ngoài ra, chúng tôi đã sử dụng toán tử vi phân: và tương ứng. Nullspace là một không gian tuyến tính của các hàm sao cho . Nó chứa hàm hằng $\zeta(x)$$\text{d}\zeta(x) / \text{d}x$$x$$2 \times 2$$L := \text{d}/ \text{d}x$$L := \text{d}^2/ \text{d}x^2$$\mathcal{F}$$\phi(x)$$L \phi = 0$$\phi_1(x)=1$trong trường hợp đầu tiên và các hàm và trong trường hợp thứ hai. Lưu ý rằng trong ví dụ đầu tiên là GP cho bất kỳ cố định nào trong ví dụ đầu tiên và tương tự là GP trong trường hợp thứ hai.$\phi_1(x)=1$$\phi_2(x) = x$$\zeta(x) - \zeta(x + \delta)$$\delta$$\zeta(x-\delta) - 2 \zeta(x) + \zeta(x + \delta)$

Đối với thứ nguyên chung , hãy xem xét một không gian tuyến tính của các hàm được xác định trên . Chúng tôi gọi một gia số liên quan đến là tập hợp hữu hạn vị trí và trọng số thực sao cho Hãy coi là nullspace của các ví dụ của chúng tôi. Ví dụ đầu tiên, chúng ta có thể lấy ví dụ với và tùy ý và$d$$\mathcal{F}$$\mathbb{R}^d$$\mathcal{F}$$s$$\mathbf{x}_i \in \mathbb{R}^d$$s$$\nu_i$

$$\sum_{i=1}^s \, \nu_i \,\phi(\mathbf{x}_i) = 0 \text{ for all } \phi \in \mathcal{F}.$$ $\mathcal{F}$$s=2$$x_1$$x_2$$[1, \, -1]$ . Đối với ví dụ thứ hai, chúng ta có thể lấy cách đều nhau s và . Định nghĩa của một IRF liên quan đến một không gian chức năng và một hàm mà là có điều kiện tích cực WRT , có nghĩa là giữ ngay khi là một gia tăng wrt . Từ và$s = 3$$x_i$$\boldsymbol{\nu} = [1,\,-2,\,1]$$\mathcal{F}$$g(\mathbf{x}, \, \mathbf{x}')$$\mathcal{F}$ $$\sum_{i=1}^s \sum_{j=1}^s \nu_i \nu_j \, g(\mathbf{x}_i, \, \mathbf{x}'_j) \geq 0$$ $[\nu_i,\,\mathbf{x}_i]_{i=1}^s$$\mathcal{F}$$\mathcal{F}$$g(\mathbf{x},\,\mathbf{x}')$ chúng ta có thể tạo ra một hạt nhân hiệp phương sai do đó là GP như trong Mardia et al. Chúng ta có thể bắt đầu từ một toán tử vi phân tuyến tính và sử dụng nullspace như ; IRF sau đó sẽ có kết nối với phương trình một nhiễu Gaussian.$L$$\mathcal{F}$$L \zeta =$

Tính toán dự đoán của IRF gần giống như trong câu hỏi, với thay thế bằng , nhưng với hiện đang tạo cơ sở cho . Ràng buộc bổ sung phải được thêm vào trong bài toán tối ưu hóa, điều này sẽ cho phép . Chúng tôi vẫn có thể thêm các hàm cơ bản không có trong nếu cần; điều này sẽ có tác dụng thêm GP xác định, giả sử vào IRF $k(\mathbf{x},\,\mathbf{x}')$$g(\mathbf{x},\,\mathbf{x}')$$\phi_i(\mathbf{x})$$\mathcal{F}$$\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$$\boldsymbol{\alpha}^\top \mathbf{K} \boldsymbol{\alpha} \geq 0$$\mathcal{F}$$\boldsymbol{\psi}(\mathbf{x})^\top\boldsymbol{\gamma}$$\zeta(\mathbf{x})$ trong (2).

Spline tấm mỏng phụ thuộc vào một số nguyên sao cho , khoảng chứa đa thức với mức độ thấp, với kích thước tùy thuộc vào và . Có thể chỉ ra rằng nếu là hàm sau cho rồi định nghĩa một wrt dương có điều kiện . Việc xây dựng liên quan đến một toán tử vi sai$m$$m> 2d$$\mathcal{F}$$p(m)$$m$$d$$E(r)$$r \geq 0$

$$E(r) := \begin{cases} (-1)^{m + 1 + d /2} \, r^{2m-d} \log r & d \text{ even},\\ r^{2m-d} & d \text{ odd,} \end{cases}$$ $g(\mathbf{x},\,\mathbf{x}') := E(\|\mathbf{x} - \mathbf{x}'\|)$$\mathcal{F}$$L$. Hóa ra với và , spline tấm mỏng không là gì so với spline hình khối tự nhiên thông thường, liên quan đến ví dụ Wiener tích hợp ở trên, với . Vì vậy, (2) không có gì hơn so với mô hình spline làm mịn thông thường. Khi và , nullspace có thứ nguyên và được tạo bởi các hàm , và .$d=1$$m=2$$g(x,\,x') = |x - x'|^3$$d=2$$m=2$$p(m)=3$$1$$x_1$$x_2$

Thống kê Cressie N cho dữ liệu không gian . Wiley 1993.

Mardia KV, Kent JT, Goodall CR và Little JA. Kriging và splines với thông tin phái sinh. Biometrika (1996), 83,1, trang 207-221.

Mô hình Spline Wahba G cho dữ liệu quan sát . SIAM 1990.

Wang, Y Làm mịn Splines, Phương pháp và Ứng dụng . Chapman và Hội trường, 2011.