Công thức hồi quy sườn như bị ràng buộc so với bị phạt: Làm thế nào chúng tương đương?

Tôi dường như đang hiểu nhầm một tuyên bố về các phương pháp hồi quy tuyến tính mà tôi đã thấy ở nhiều nơi. Các tham số của vấn đề là:

Đầu vào:

$N$ mẫu dữ liệu của số lượng mỗi đại lượng bao gồm số lượng "phản hồi" y_i và p "dự đoán" số lượng x_ {ij}$p+1$$y_i$$p$$x_{ij}$

Kết quả mong muốn là "sự phù hợp tuyến tính tốt" dự đoán đáp ứng dựa trên các yếu tố dự đoán trong đó mức độ phù hợp tốt có sự khác biệt nhỏ giữa dự đoán và phản ứng quan sát (trong số các tiêu chí khác).

Đầu ra: $p+1$ hệ số $\beta_j$ trong đó $\beta_0 + \sum_{j=1}^p x_{ij} * \beta_j$ là "phù hợp tốt" để dự đoán số lượng phản hồi từ số lượng dự đoán.

Tôi bối rối về cách tiếp cận "hồi quy sườn" cho vấn đề này. Trong "Các yếu tố của học thống kê" của Hastie, Tibshirani và Friedman trang 63 hồi quy sườn núi được xây dựng theo hai cách.

Đầu tiên là vấn đề tối ưu hóa bị ràng buộc :

p Σ

$${argmin}_\beta \sum_{i=1}^N { ( y_i - (\beta_0 + \sum_{j=1}^p (x_{ij} * \beta_j)) )^2 }$$ chịu sự ràng buộc cho một số tham số dương t. $$\sum_{j=1}^p \beta_i^2 \leq t$$

Thứ hai là vấn đề tối ưu hóa bị phạt : cho một số tham số dương .

$${argmin}_\beta ( \lambda \sum_{j=1}^p { \beta_j^2 } ) + \sum_{i=1}^N { ( y_i - (\beta_0 + \sum_{j=1}^p (x_{ij} * \beta_j)) )^2 }$$ $\lambda$

Văn bản nói rằng các công thức này là tương đương và có "sự tương ứng 1-1 giữa các tham số và ". Tôi đã thấy yêu cầu này (và những yêu cầu tương tự) ở một số nơi ngoài cuốn sách này. Tôi nghĩ rằng tôi đang thiếu một cái gì đó bởi vì tôi không thấy các công thức tương đương như thế nào khi tôi hiểu nó.$\lambda$$t$

Hãy xem xét trường hợp và với , và , . Chọn tham số , công thức bị ràng buộc trở thành:p = 1 y 1 = 0 x 1 , 1 = 0 y 2 = $N=2$$p=1$$y_1=0$$x_{1,1}=0$$y_2=1$t = $x_{1,2}=1$$t=2$

$${argmin}_{\beta_0,\beta_1} ( \beta_0^2 + (1 - (\beta_0 + \beta_1))^2 )$$

mở rộng đến

$${argmin}_{\beta_0,\beta_1} ( 2 \beta_{0}^{2} + 2 \beta_{0} \beta_{1} - 2 \beta_{0} + \beta_{1}^{2} - 2 \beta_{1} + 1 )$$

Để giải quyết vấn đề này, hãy tìm giải pháp trong đó các đạo hàm riêng liên quan đến và bằng 0: với giải pháp và . Lưu ý rằng theo yêu cầu.β 1 4 β 0 + 2 β 1 - 2 = 0 2 β 0 + 2 β 1 - 2 = 0 β 0 = 0 β 1 = 1 β 2 0 + β 2 1 ≤ $\beta_0$$\beta_1$

$$4 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $$2 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $\beta_0 = 0$$\beta_1 = 1$$\beta_0^2 + \beta_1^2 \le t$

Làm thế nào dẫn xuất này liên quan đến công thức khác? Theo giải thích, có một số giá trị của tương ứng duy nhất với nếu chúng ta tối ưu hóa công thức bị phạt của vấn đề, chúng ta sẽ rút ra cùng một và . Trong trường hợp này, hình thức bị phạt trở thành mở rộng thành Để giải quyết vấn đề này, hãy tìm giải pháp trong đó các đạo hàm riêng kính trọngt β 0 β 1 một r g m i n β 0 , β 1 β 0 β 1 - 2 β 0$\lambda$$t$$\beta_0$$\beta_1$một r g m i n β bước sóng + 2 β 2 0 +

$${argmin}_{\beta_0,\beta_1} ( \lambda (\beta_0^2 + \beta_1^2) + \beta_0^2 + (1 - (\beta_0 + \beta_1))^2 )$$ β 0 β 1 2 β 0 λ + 4 β 0 + 2 β 1 - 2 β 1 - 2 = 0 β 0 = λ / ( λ 2 + 3 λ + $${argmin}_{\beta_0,\beta_1} ( \beta_{0}^{2} \lambda + 2 \beta_{0}^{2} + 2 \beta_{0} \beta_{1} - 2 \beta_{0} + \beta_{1}^{2} \lambda + \beta_{1}^{2} - 2 \beta_{1} + 1 )$$ $\beta_0$ và bằng 0: cho các phương trình này Tôi nhận được giải pháp Nếu đó là cách duy nhất để có được là đặt . Tuy nhiên, đó sẽ là cùng một mà chúng ta sẽ cần cho , vậy ý ​​nghĩa của "một đối một" là gì?$\beta_1$2 β 0 + 2 β 1 λ $$2 \beta_{0} \lambda + 4 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $$2 \beta_{0} + 2 \beta_{1} \lambda + 2 \beta_{1} - 2 = 0$$ $$\beta_0 = \lambda/(\lambda^2 + 3\lambda + 1)$$ $$\beta_1 = (\lambda + 1)/((\lambda + 1)(\lambda + 2) - 1)$$ $\beta_0 = 0$$\lambda = 0$$\lambda$$t = 4$

Tóm lại, tôi hoàn toàn bối rối bởi hai bài thuyết trình và tôi không hiểu chúng tương ứng với nhau như thế nào. Tôi không hiểu làm thế nào bạn có thể tối ưu hóa một hình thức và nhận được cùng một giải pháp cho hình thức khác hoặc làm thế nào có liên quan đến . Đây chỉ là một ví dụ của loại thư tín này - có những cách khác cho các cách tiếp cận khác như lasso - và tôi không hiểu bất kỳ trong số chúng.$\lambda$$t$

Ai đó làm ơn giúp tôi với.

Sự nhầm lẫn ở đây xuất phát từ việc cố gắng làm việc trong một phạm vi các giá trị hoặc trong đó không có ràng buộc nào đối với hồi quy.$t$$\lambda$

Trong ví dụ của bạn, ở mức phù hợp hoàn hảo của đường hồi quy, tổng bình phương của các hệ số hồi quy là 1. Vì vậy, giá trị của (hoặc bất kỳ giá trị nào của là 1 hoặc lớn hơn) không bị ràng buộc đối với hồi quy. Trong không gian của giá trị , toàn bộ hồi quy không giới hạn được biểu diễn bằng . Không có sự tương ứng một-một giữa và trong hồi quy không giới hạn ; tất cả các giá trị từ 1 trở lên trong trường hợp này tương ứng với . Đó là khu vực mà bạn đã được điều tra.t λ λ = 0 t λ t λ = $t=2$$t$$\lambda$$\lambda = 0$$t$$\lambda$ $t$$\lambda=0$

Chỉ một giá trị nhỏ hơn 1 sẽ đặt ràng buộc cho hồi quy, tương ứng với các giá trị dương của . Như câu trả lời được chấp nhận cho trang này hiển thị, sự tương ứng một-một giữa và giữ " khi ràng buộc là ràng buộc ", trong ví dụ của bạn cho các giá trị nhỏ hơn 1.λ t λ $t$$\lambda$$t$$\lambda$$t$

Hồi quy Ridge cổ điển ( Tikhonov chính quy ) được đưa ra bởi:

$$\arg \min_{x} \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$$

Yêu cầu ở trên là vấn đề sau là tương đương:

$$\begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$$

Hãy xác định là giải pháp tối ưu cho vấn đề thứ nhất và là giải pháp tối ưu cho vấn đề thứ hai.$\hat{x}$$\tilde{x}$

Yêu cầu tương đương có nghĩa là . Cụ thể, bạn luôn có thể có một cặp và như vậy giải pháp cho vấn đề là như nhau.$\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$
$t$$\lambda \geq 0$

Làm thế nào chúng ta có thể tìm thấy một cặp?
Vâng, bằng cách giải quyết các vấn đề và xem xét các tính chất của giải pháp.
Cả hai vấn đề là lồi và trơn nên nó sẽ làm cho mọi thứ đơn giản hơn.

Giải pháp cho vấn đề đầu tiên được đưa ra tại điểm gradient biến mất có nghĩa là:

$$\hat{x} - y + 2 \lambda \hat{x} = 0$$

Các điều kiện KKT của vấn đề thứ hai nêu:

$$\tilde{x} - y + 2 \mu \tilde{x} = 0$$

và

$$\mu \left( {\left\| \tilde{x} \right\|}_{2}^{2} - t \right) = 0$$

Phương trình cuối cùng gợi ý rằng hoặc .‖ ~ x ‖ $\mu = 0$${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Hãy chú ý rằng 2 phương trình cơ sở là tương đương.
Cụ thể là nếu và cả hai phương trình đều giữ. $\hat{x} = \tilde{x}$$\mu = \lambda$

Vì vậy, nó có nghĩa là trong trường hợp người ta phải đặt , điều đó có nghĩa là với đủ lớn để cả hai tương đương nhau thì phải đặt .μ${\left\| y \right\|}_{2}^{2} \leq t$$\mu = 0$$t$$\lambda = 0$

Trong trường hợp khác, người ta nên tìm trong đó:$\mu$

$${y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t$$

Điều này về cơ bản là khi${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Khi bạn thấy rằng các giải pháp sẽ va chạm.$\mu$

Về trường hợp , nó hoạt động với cùng một ý tưởng. Sự khác biệt duy nhất là chúng tôi không đóng giải pháp do đó việc kết nối trở nên khó khăn hơn.${L}_{1}$

Hãy xem câu trả lời của tôi tại StackExchange Cross xác thực Q291962 và Xử lý tín hiệu StackExchange Q21730 - Ý nghĩa của trong Theo đuổi cơ sở$\lambda$ .