Bằng chứng về các công thức tương đương của hồi quy sườn

15

Tôi đã đọc những cuốn sách phổ biến nhất trong học thống kê

Cả hai đều đề cập rằng hồi quy sườn có hai công thức tương đương nhau. Có một bằng chứng toán học dễ hiểu về kết quả này?

Tôi cũng đã trải qua Xác thực chéo , nhưng tôi không thể tìm thấy bằng chứng xác định ở đó.

Hơn nữa, LASSO sẽ được hưởng cùng loại bằng chứng chứ?

— jeza
nguồn

2

vi.wikipedia.org/wiki/ Kẻ

— Taylor

1

Lasso không phải là một hình thức hồi quy sườn núi.

— Tây An

@jeza, bạn có thể giải thích những gì còn thiếu trong câu trả lời của tôi không? Nó thực sự xuất phát tất cả có thể được bắt nguồn về kết nối.

— Royi

@jeza, bạn có thể nói cụ thể không? Trừ khi bạn biết khái niệm Lagrangian cho vấn đề bị ràng buộc, thật khó để đưa ra một câu trả lời ngắn gọn.

— Royi

1

@jeza, một vấn đề tối ưu hóa bị ràng buộc có thể được chuyển đổi thành tối ưu hóa chức năng Lagrangian / điều kiện KKT (như được giải thích trong các câu trả lời hiện tại). Nguyên tắc này đã có nhiều giải thích đơn giản khác nhau trên internet. Theo hướng nào là giải thích nhiều hơn về bằng chứng cần thiết? Giải thích / bằng chứng về số nhân / hàm Lagrangian, giải thích / chứng minh vấn đề này như thế nào là một trường hợp tối ưu hóa liên quan đến phương pháp Lagrange, KKT / Lagrange, giải thích về nguyên tắc chính quy, v.v?

— Sextus Empiricus

19

Hồi quy sườn cổ điển (Chính quy Tikhonov ) được đưa ra bởi:

\arg min_{x} \frac{1}{2} {‖ x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\arg \min_{x} \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

Yêu cầu ở trên là vấn đề sau là tương đương:

\begin{aligned} \arg min_{x} & \frac{1}{2} {‖ x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

Hãy xác định là giải pháp tối ưu trong những vấn đề đầu tiên và $\hat{x}$ $\tilde{x}$ là giải pháp tối ưu của bài toán thứ hai.

Những tuyên bố của phương tiện tương đương mà $\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$ .
Cụ thể là bạn luôn có thể có một cặp $t$ và $\lambda \geq 0$ như giải pháp của vấn đề là như nhau.

Làm thế nào chúng ta có thể tìm thấy một cặp?
Vâng, bằng cách giải quyết các vấn đề và xem xét các tính chất của giải pháp.
Cả hai vấn đề là lồi và trơn nên nó sẽ làm cho mọi thứ đơn giản hơn.

Giải pháp cho vấn đề đầu tiên được đưa ra tại điểm độ dốc biến mất có nghĩa là:

\hat{x} - y + 2 λ \hat{x} = 0

$\hat{x} - y + 2 \lambda \hat{x} = 0$

Các điều kiện KKT của vấn đề thứ hai nêu rõ:

\tilde{x} - y + 2 μ \tilde{x} = 0

$\tilde{x} - y + 2 \mu \tilde{x} = 0$

và

μ ({‖ \tilde{x} ‖}_{2}^{2} - t) = 0

$\mu \left( {\left\| \tilde{x} \right\|}_{2}^{2} - t \right) = 0$

Phương trình cuối cùng cho thấy rằng một trong hai $\mu = 0$ hoặc ${\left\| \tilde{x} \right\|}_{2}^{2} = t$ .

Hãy chú ý rằng 2 phương trình cơ sở là tương đương.
Cụ thể là nếu và $\hat{x} = \tilde{x}$ $\mu = \lambda$ cả hai phương trình giữ.

Vì vậy, nó có nghĩa là trong trường hợp ${\left\| y \right\|}_{2}^{2} \leq t$ một người phải đặt $\mu = 0$ có nghĩa là cho $t$ đủ lớn để cho cả hai là tương đương một bộ phải $\lambda = 0$ .

Trên trường hợp khác ta nên tìm $\mu$ nơi:

y^{t} {(I + 2 μ I)}^{- 1} {(I + 2 μ I)}^{- 1} y = t

${y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t$

Điều này về cơ bản là khi ${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Một khi bạn thấy rằng $\mu$ các giải pháp sẽ va chạm.

Về trường hợp ${L}_{1}$ (LASSO), tốt, nó hoạt động với cùng một ý tưởng.
Sự khác biệt duy nhất là chúng tôi không đóng giải pháp do đó việc kết nối trở nên khó khăn hơn.

Hãy xem câu trả lời của tôi tại StackExchange Cross xác thực Q291962 và Xử lý tín hiệu StackExchange Q21730 - Ý nghĩa của $\lambda$ trong Truy tìm cơ sở .

Ghi chú
Điều gì thực sự xảy ra?
Trong cả hai vấn đề, $x$ cố gắng càng gần càng tốt với $y$ .
Trong trường hợp đầu tiên, $x = y$ sẽ biến mất thuật ngữ đầu tiên ( Khoảng cách ${L}_{2}$ ) và trong trường hợp thứ hai, nó sẽ làm cho hàm mục tiêu biến mất.
Sự khác biệt là trong trường hợp đầu tiên, người ta phải cân bằng ${L}_{2}$ Norm của $x$ . Như $\lambda$ được cao hơn các phương tiện cân bạn nên chắc $x$ nhỏ hơn.
Trong trường hợp thứ hai có một bức tường, bạn mang $x$ đến gần hơn và gần hơn với $y$ cho đến khi bạn chạm vào tường, đó là ràng buộc về Norm của nó (Theo $t$ ).
Nếu tường là đủ xa (High giá trị của $t$ ) và đủ phụ thuộc vào chỉ tiêu $y$ sau đó tôi không có ý nghĩa, giống như $\lambda$ là có liên quan duy nhất của giá trị của nó nhân với chỉ tiêu $y$ bắt đầu có ý nghĩa.
Kết nối chính xác là do Lagrangian đã nêu ở trên.

Tài nguyên

Tôi tìm thấy bài báo này ngày hôm nay (03/04/2019):

Độ cứng xấp xỉ cho một lớp các vấn đề tối ưu hóa thưa thớt .

— Hoàng gia
nguồn

does the equivalent means that the \lambda and \t should be the same. Because I can not see that in the proof. thanks

— jeza

@jeza, As I wrote above, for any

t

$t$ there is

λ \geq 0

$\lambda \geq 0$ (Not necessarily equal to

t

$t$ but a function of

t

$t$ and the data

y

$y$ ) such that the solutions of the two forms are the same.

— Royi

3

@jeza, cả

&

cơ bản là các thông số miễn phí tại đây. Khi bạn chỉ định, chẳng hạn,

, mà mang lại một giải pháp cụ tối ưu. Nhưng

vẫn là một tham số miễn phí. Vì vậy, tại thời điểm này, yêu cầu là có thể có một số giá trị của

sẽ mang lại cùng một giải pháp tối ưu. Về cơ bản không có ràng buộc nào về những gì mà

phải là; không giống như nó phải là một số hàm cố định của

, như

hoặc một cái gì đó.

λ

$\lambda$

t

$t$

λ

$\lambda$

t

$t$

t

$t$

t

$t$

λ

$\lambda$

t = λ / 2

$t=\lambda/2$

— gung - Phục hồi Monica

@Royi, tôi muốn biết 1- tại sao công thức của bạn có (1/2), trong khi các công thức trong câu hỏi không? 2- đang sử dụng KKT để thể hiện sự tương đương của hai công thức? 3- nếu có, tôi vẫn không thể thấy sự tương đương đó. Tôi không chắc chắn nhưng những gì tôi mong đợi là bằng chứng cho thấy công thức một = công thức hai.

— jeza

1. Chỉ dễ dàng hơn khi bạn phân biệt thuật ngữ LS. Bạn có thể di chuyển hình của tôi

để OP

bởi yếu tố của hai. 2. Tôi đã sử dụng KKT cho trường hợp thứ 2. Trường hợp đầu tiên không có ràng buộc, do đó bạn chỉ có thể giải quyết nó. 3. Không có phương trình dạng kín giữa chúng. Tôi đã chỉ ra logic và cách bạn có thể tạo một biểu đồ kết nối chúng. Nhưng như tôi đã viết, nó sẽ thay đổi cho mỗi

(Nó phụ thuộc vào dữ liệu).

λ

$\lambda$

λ

$\lambda$

y

$y$

— Royi

9

Một cách tiếp cận ít nghiêm ngặt hơn về mặt toán học, nhưng có thể trực quan hơn, để hiểu những gì đang diễn ra là bắt đầu với phiên bản ràng buộc (phương trình 3.42 trong câu hỏi) và giải quyết nó bằng các phương pháp "Lagrange Multiplier" ( https: //en.wikipedia .org / wiki / Lagrange_multiplier hoặc văn bản tính toán đa biến yêu thích của bạn). Chỉ cần nhớ rằng trong tính toán là vector của các biến, nhưng trong trường hợp của chúng tôi là hằng số và là vector biến. Khi bạn áp dụng các kỹ thuật nhân Lagrange bạn kết thúc với phương trình thứ nhất (3,41) (sau khi ném đi những phụ mà là hằng số tương đối so với giảm thiểu và có thể được bỏ qua). $x$ $x$ $\beta$ $-\lambda t$

Điều này cũng cho thấy rằng điều này hoạt động cho lasso và các ràng buộc khác.

— Greg Snow
nguồn

8

It's perhaps worth reading about Lagrangian duality and a broader relation (at times equivalence) between:

optimization subject to hard (i.e. inviolable) constraints
optimization with penalties for violating constraints.

Quick intro to weak duality and strong duality

$f(x,y)$ $\hat{x}$ $\hat{y}$ , we have:

min_{x} f (x, \hat{y}) \leq f (\hat{x}, \hat{y}) \leq max_{y} f (\hat{x}, y)

$\min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

Since that holds for any $\hat{x}$ and $\hat{y}$ it also holds that:

max_{y} min_{x} f (x, y) \leq min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

This is known as weak duality. In certain circumstances, you have also have strong duality (also known as the saddle point property):

max_{y} min_{x} f (x, y) = min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) = \min_x \max_y f(x, y)$

When strong duality holds, solving the dual problem also solves the primal problem. They're in a sense the same problem!

Lagrangian for constrained Ridge Regression

Let me define the function $\mathcal{L}$ as:

L (b, λ) = \sum_{i = 1}^{n} (y - x_{i} \cdot b)^{2} + λ (\sum_{j = 1}^{p} b_{j}^{2} - t)

$\mathcal{L}(\mathbf{b}, \lambda) = \sum_{i=1}^n (y - \mathbf{x}_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right)$

The min-max interpretation of the Lagrangian

The Ridge regression problem subject to hard constraints is:

min_{b} max_{λ \geq 0} L (b, λ)

$\min_\mathbf{b} \max_{\lambda \geq 0} \mathcal{L}(\mathbf{b}, \lambda)$

You pick $\mathbf{b}$ to minimize the objective, cognizant that after $\mathbf{b}$ is picked, your opponent will set $\lambda$ to infinity if you chose $\mathbf{b}$ such that $\sum_{j=1}^p b_j^2 > t$ .

If strong duality holds (which it does here because Slater's condition is satisfied for $t>0$ ), you then achieve the same result by reversing the order:

max_{λ \geq 0} min_{b} L (b, λ)

$\max_{\lambda \geq 0} \min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$

Here, your opponent chooses $\lambda$ first! You then choose $\mathbf{b}$ to minimize the objective, already knowing their choice of $\lambda$ . The $\min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$ part (taken $\lambda$ as given) is equivalent to the 2nd form of your Ridge Regression problem.

As you can see, this isn't a result particular to Ridge regression. It is a broader concept.

References

(I started this post following an exposition I read from Rockafellar.)

Rockafellar, R.T., Convex Analysis

You might also examine lectures 7 and lecture 8 from Prof. Stephen Boyd's course on convex optimization.

— Matthew Gunn
nguồn

note that your answer can be extended to any convex function.

— 81235

6

They are not equivalent.

For a constrained minimization problem

\begin{matrix} (1) & min_{b} \sum_{i = 1}^{n} (y - x_{i}^{'} \cdot b)^{2} s . t . \sum_{j = 1}^{p} b_{j}^{2} \leq t, b = (b_{1}, . . ., b_{p}) \end{matrix}

$\min_{\mathbf b} \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2\\ s.t. \sum_{j=1}^p b_j^2 \leq t,\;\;\; \mathbf b = (b_1,...,b_p) \tag{1}$

we solve by minimize over $\mathbf b$ the corresponding Lagrangean

\begin{matrix} (2) & Λ = \sum_{i = 1}^{n} (y - x_{i}^{'} \cdot b)^{2} + λ (\sum_{j = 1}^{p} b_{j}^{2} - t) \end{matrix}

$\Lambda = \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right) \tag{2}$

Here, $t$ is a bound given exogenously, $\lambda \geq 0$ is a Karush-Kuhn-Tucker non-negative multiplier, and both the beta vector and $\lambda$ are to be determined optimally through the minimization procedure given $t$ .

Comparing $(2)$ and eq $(3.41)$ in the OP's post, it appears that the Ridge estimator can be obtained as the solution to

\begin{matrix} (3) & min_{b} {Λ + λ t} \end{matrix}

$\min_{\mathbf b}\{\Lambda + \lambda t\} \tag{3}$

Since in $(3)$ the function to be minimized appears to be the Lagrangean of the constrained minimization problem plus a term that does not involve $\mathbf b$ , it would appear that indeed the two approaches are equivalent...

But this is not correct because in the Ridge regression we minimize over $\mathbf b$ given $\lambda >0$ . But, in the lens of the constrained minimization problem, assuming $\lambda >0$ imposes the condition that the constraint is binding, i.e that

\sum_{j = 1}^{p} (b_{j, r i d g e}^{*})^{2} = t

$\sum_{j=1}^p (b^*_{j,ridge})^2 = t$

The general constrained minimization problem allows for $\lambda = 0$ also, and essentially it is a formulation that includes as special cases the basic least-squares estimator ( $\lambda ^*=0$ ) and the Ridge estimator ( $\lambda^* >0$ ).

So the two formulation are not equivalent. Nevertheless, Matthew Gunn's post shows in another and very intuitive way how the two are very closely connected. But duality is not equivalence.

— Alecos Papadopoulos
nguồn

@MartijnWeterings Thanks for the comment, I have reworked my answer.

— Alecos Papadopoulos

@MartijnWeterings I do not see what is confusing since the expression written in your comment is exactly the expression I wrote in my reworked post.

— Alecos Papadopoulos

1

This was the duplicate question I had in mind were the equivalence is explained very intuitively to me math.stackexchange.com/a/336618/466748 the argument that you give for the two not being equivalent seems only secondary to me, and a matter of definition (the OP uses

λ \geq 0

$\lambda \geq 0$ instead of

λ > 0

$\lambda > 0$ and we could just as well add the constrain

t < ‖ β^{O L S} ‖_{2}^{2}

$t < \Vert \beta^{OLS} \Vert^2_2$ to exclude the cases where

λ = 0

$\lambda=0$ ) .

— Sextus Empiricus

@MartijnWeterings When A is a special case of B, A cannot be equivalent to B. And ridge regression is a special case of the general constrained minimization problem, Namely a situation to which we arrive if we constrain further the general problem (like you do in your last comment).

— Alecos Papadopoulos

Certainly you could define some constrained minimization problem that is more general then ridge regression (like you can also define some regularization problem that is more general than ridge regression, e.g. negative ridge regression), but then the non-equivalence is due to the way that you define the problem and not due to the transformation from the constrained representation to the Lagrangian representation. The two forms can be seen as equivalent within the constrained formulation/definition (non-general) that are useful for ridge regression.

— Sextus Empiricus