Tại sao dương tính xác định?

Trong hồi quy spline, không có gì lạ khi mở rộng cơ sở để tạo ra ma trận thiết kế thiếu thứ hạng , nhưng điều nổi tiếng là việc xử phạt thủ tục ước tính sẽ giải quyết vấn đề. Tôi không biết làm thế nào để chỉ ra rằng hình phạt có nghĩa là là xác định dương. (Tôi biết rằng ma trận PD là không thể đảo ngược.)$B_{n\times p}$$B^TB+\lambda\Omega$

Để đặt giai đoạn, chúng tôi tìm kiếm cho f (x) do việc mở rộng cơ sở f (x_i) = \ sum_j \ alpha_j h_j (x_i ) . Thu thập các vectơ cơ sở trong B , tôi có thể chỉ ra khá dễ dàng rằng việc tối ưu hóa này giảm xuống còn$\min_{\alpha\in\mathbb{R}^p} \sum_i|| y_i-f(x_i)||^2+\lambda\int_a^b [f''(t)]^2dt$$f(x)$$f(x_i)=\sum_j\alpha_j h_j(x_i)$$B$

trong đó $\Omega_{ij}=\int_a^b h_j^{\prime\prime}(t) h_i^{\prime\prime}(t)dt$ .

Đây là lý do của tôi cho đến nay. Chúng ta biết rằng $B$ thiếu thứ hạng vì $p>n$ . Điều này ngụ ý rằng $B^TB$ cũng bị thiếu thứ hạng; Tôi cũng có thể chỉ ra rằng ít nhất một giá trị riêng là 0 và đó là bán chính xác dương.

Nhưng bây giờ tôi bị mắc kẹt vì tôi không biết lý do về $\Omega$ hoặc cho thấy $B^TB+\lambda\Omega$ là PD cho bất kỳ $\lambda>0$ . Tôi biết rằng $\Omega$ là một ma trận Gram, nhưng điều đó chỉ giúp chúng ta hiểu được rằng $\Omega$ là PSD.

Cho thấy là số tiền PD cho thấy là PD. (Cảm ơn Matthew Gunn vì đã chỉ ra điều đó trong các bình luận.)$B^TB+\lambda\Omega$$\Omega$

Điều này là do , trong trường hợp , xếp hạng thiếu và do đó PSD. Điều này là do dạng bậc hai vì chúng ta có thể viết lại thành vì hình vuông của bất kỳ số thực là không âm. Vậy ta có vì nếu là PD, thì , số lượng là tổng của số không âm và số dương, phải là số dương. Do đó là PD miễn là là PD.$B^TB$$p>n$$a^TB^TBa\ge0\forall a\in\{\mathbb{R}^n\setminus0\}$$||Ba||_2^2\ge0$$a^T(B^TB+\Omega)a=a^TB^TBa+a^T\Omega a >0$$\Omega$$a^T\Omega a>0$$a^TB^TBa+a^T\Omega a$$B^TB+\Omega$$\Omega$

Vì vậy, chúng ta cần lý do về . Nó phù hợp với định nghĩa của ma trận Gram vì nó được đưa ra bởi sản phẩm bên trong tiêu chuẩn về các chức năng (được quy định trong câu hỏi). Các hàm cơ bản là độc lập tuyến tính (vì chúng tạo thành một cơ sở), do đó là PD.$\Omega$$\Omega$

$\Omega$ là PD nếu các cột của nó độc lập. Chúng ta có thể viếtNếu các vectơ của phụ thuộc tuyến tính , thì chúng ta có đối với một số vì theo định nghĩa phụ thuộc tuyến tính và bởi các thuộc tính của định thức.$\Omega=A^TA.$$A$$\Omega a=A^TAa=A^T0=0$$a\neq 0$$Aa=0$$|\Omega|=|A^TA|=|A|^2=0$

Thật dễ dàng để chỉ ra rằng điều này đúng với mọi ; tất cả các đối số tương tự được áp dụng vì các số dương được đóng dưới cấp số nhân.$\lambda>0$