Làm thế nào để tính toán tham số chính quy trong hồi quy sườn cho mức độ tự do và ma trận đầu vào?

Đặt A là ma trận của các biến độc lập và B là ma trận tương ứng của các giá trị phụ thuộc. Trong hồi quy sườn núi, chúng ta định nghĩa một tham số để: . Bây giờ hãy để [usv] = svd (A) và mục nhập chéo của 's'. chúng tôi xác định bậc tự do (df) = . Hồi quy độ dốc thu nhỏ các hệ số của các thành phần có phương sai thấp và do đó tham số kiểm soát mức độ tự don × $n \times p$$n \times 1$$\lambda$d i = i t h Σ n i = 1 ( d i ) $\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$$d_{i}=i^{th}$ bước sóngbước sóng=$\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$$\lambda$$\lambda=0$, đó là trường hợp hồi quy bình thường, df = n và do đó tất cả các biến độc lập sẽ được xem xét. Vấn đề tôi gặp phải là tìm giá trị của $\lambda$ được đưa ra 'df' và ma trận 's'. Tôi đã cố gắng sắp xếp lại phương trình trên nhưng không nhận được giải pháp dạng đóng. Vui lòng cung cấp bất kỳ con trỏ hữu ích.

Một thuật toán Newton-Raphson / Fisher-points / Taylor-series sẽ phù hợp với điều này.

Bạn có phương trình để giải cho với đạo hàm Sau đó, bạn nhận được: h ( λ ) = p ∑ i = 1 d 2 $\lambda$ ∂

$$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$$ $$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$$ $$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$$

sắp xếp lại cho bạn nhận được: Điều này thiết lập tìm kiếm lặp. Đối với các giá trị bắt đầu ban đầu, giả sử trong tổng kết, sau đó bạn nhận được .$\lambda$

$$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$$ $d^{2}_{i}=1$$\lambda^{(0)}=\frac{p-df}{df}$

$$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$$

Điều này "đi" đúng hướng (tăng khi tổng cộng quá lớn, giảm khi quá nhỏ) và thường chỉ mất một vài lần lặp để giải quyết. Hơn nữa chức năng là đơn điệu (tăng / giảm trong sẽ luôn luôn giảm / tăng tổng), do đó, nó sẽ hội tụ duy nhất (không có cực đại cục bộ).$\lambda$$\lambda$

Đây là mã Matlab nhỏ dựa trên công thức được chứng minh bằng xác suất:

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end