Hiển thị sự tương đương giữa Hồi quy thường xuyên Norm và Hồi quy ràng buộc định mức bằng KKT

Theo tài liệu tham khảo Quyển 1 , Quyển 2 và giấy .

Nó đã được đề cập rằng có một sự tương đương giữa hồi quy chính quy (Ridge, LASSO và Elastic Net) và các công thức ràng buộc của chúng.

Tôi cũng đã xem xét Xác thực chéo 1 và Xác thực chéo 2 , nhưng tôi không thể thấy câu trả lời rõ ràng cho thấy sự tương đương hoặc logic.

Câu hỏi của tôi là

Làm thế nào để thể hiện sự tương đương đó bằng cách sử dụng Karush Ku Kuhn Tucker (KKT)?

Các công thức sau đây là cho hồi quy Ridge.

GHI CHÚ

Câu hỏi này không phải là bài tập về nhà. Nó chỉ để tăng sự hiểu biết của tôi về chủ đề này.

CẬP NHẬT

Tôi chưa có ý tưởng nào.

— jeza
nguồn

Tại sao bạn cần nhiều hơn 1 câu trả lời? Câu trả lời hiện tại xuất hiện để giải quyết câu hỏi một cách toàn diện. Nếu bạn muốn tìm hiểu thêm về các phương pháp tối ưu hóa, Convex Optimization Lieven Vandenberghe và Stephen P. Boyd là một nơi tốt để bắt đầu.

— Sycorax nói phục hồi Monica

@Sycorax, cảm ơn ý kiến của bạn và cuốn sách bạn cung cấp cho tôi. Câu trả lời không quá rõ ràng đối với tôi và tôi không thể yêu cầu làm rõ hơn. Do đó, nhiều hơn một câu trả lời có thể cho tôi thấy một quan điểm và cách mô tả khác nhau.

— jeza

@jeza, câu trả lời của tôi còn thiếu gì?

— Royi

Vui lòng nhập câu hỏi của bạn dưới dạng văn bản, không chỉ đăng một bức ảnh (xem tại đây ).

— gung - Tái lập Monica

Câu trả lời:

Câu trả lời kỹ thuật hơn là bởi vì vấn đề tối ưu hóa bị ràng buộc có thể được viết dưới dạng số nhân Lagrange. Cụ thể, Lagrangian liên quan đến vấn đề tối ưu hóa bị ràng buộc được đưa ra bởi trong đó là một số nhân được chọn để đáp ứng các ràng buộc của vấn đề. Do đó, các điều kiện đặt hàng đầu tiên (đủ để bạn làm việc với các hàm lồi phù hợp) cho vấn đề tối ưu hóa này có thể đạt được bằng cách phân biệt Lagrangian với

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2}} + μ {(1 - α) \sum_{j = 1}^{p} | β_{j} | + α \sum_{j = 1}^{p} β_{j}^{2}}

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$

μ

$\mu$

β

$\beta$ và đặt các đạo hàm bằng 0 (có một chút sắc thái hơn vì phần LASSO có các điểm không thể phân biệt được, nhưng có các phương pháp từ phân tích lồi để khái quát hóa đạo hàm để điều kiện thứ tự đầu tiên vẫn hoạt động). Rõ ràng là các điều kiện đặt hàng đầu tiên này giống hệt với các điều kiện đặt hàng đầu tiên của vấn đề không ràng buộc mà bạn đã viết ra.

Tuy nhiên, tôi nghĩ thật hữu ích khi xem tại sao nói chung, với những vấn đề tối ưu hóa này, người ta thường có thể nghĩ về vấn đề thông qua lăng kính của một vấn đề tối ưu hóa bị ràng buộc hoặc qua lăng kính của một vấn đề không bị ràng buộc. Cụ thể hơn, giả sử chúng ta có một vấn đề tối ưu hóa không bị ràng buộc theo dạng sau: Chúng ta luôn có thể cố gắng giải quyết trực tiếp tối ưu hóa này, nhưng đôi khi, có thể có ý nghĩa để giải quyết vấn đề này thành thành phần phụ. Cụ thể, không khó để thấy rằng Vì vậy, đối với giá trị cố định của

max_{x} f (x) + λ g (x)

$\max_x f(x) + \lambda g(x)$

max_{x} f (x) + λ g (x) = max_{t} (max_{x} f (x) s . t g (x) = t) + λ t

$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$

λ

$\lambda$ (và giả sử các chức năng được tối ưu hóa thực sự đạt được tối ưu của chúng), chúng ta có thể liên kết với nó một giá trị để giải quyết vấn đề tối ưu hóa bên ngoài. Điều này cho chúng ta một loại ánh xạ từ các vấn đề tối ưu hóa không bị ràng buộc đến các vấn đề bị ràng buộc. Trong cài đặt cụ thể của bạn, vì mọi thứ đều hoạt động tốt cho hồi quy mạng đàn hồi, trên thực tế, ánh xạ này phải là một, vì vậy sẽ rất hữu ích khi có thể chuyển đổi giữa hai bối cảnh này tùy thuộc vào ứng dụng cụ thể nào hữu ích hơn. Nói chung, mối quan hệ giữa các vấn đề bị ràng buộc và không bị ràng buộc này có thể được xử lý kém hơn, nhưng vẫn có thể hữu ích để suy nghĩ về mức độ bạn có thể di chuyển giữa vấn đề bị ràng buộc và không bị ràng buộc.

t^{*}

$t^*$

Chỉnh sửa: Theo yêu cầu, tôi sẽ bao gồm một phân tích cụ thể hơn cho hồi quy sườn, vì nó nắm bắt được các ý chính trong khi tránh phải xử lý các kỹ thuật liên quan đến tính không khác biệt của hình phạt LASSO. Nhắc lại, chúng tôi đang giải quyết vấn đề tối ưu hóa (theo ký hiệu ma trận):

\underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} s . t . | | β | |^{2} \leq M

$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$

Đặt là giải pháp OLS (nghĩa là khi không có ràng buộc). Sau đó, tôi sẽ tập trung vào trường hợp(miễn là điều này tồn tại) vì nếu không, ràng buộc là không thú vị vì nó không ràng buộc. Lagrangian cho vấn đề này có thể được viết Sau đó, khác biệt , chúng tôi nhận được các điều kiện đặt hàng đầu tiên: chỉ là một hệ phương trình tuyến tính và do đó có thể được giải: $\beta^{OLS}$ $M < \left|\left|\beta^{OLS}\right|\right|$

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} - μ \cdot | | β | |^{2} \leq M

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$

0 = - 2 (\sum_{i = 1}^{N} y_{i} x_{i} + (\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I) β)

$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$

\hat{β} = {(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})

$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$ cho một số lựa chọn số nhân . Số nhân sau đó được chọn đơn giản để biến ràng buộc thành đúng, tức là chúng ta cần

μ

$\mu$

{({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i}))}^{T} ({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})) = M

$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$ tồn tại do LHS là đơn điệu trong . Phương trình này cung cấp ánh xạ rõ ràng từ bội số đến các ràng buộc, với khi RHS tồn tại và Ánh xạ này thực sự tương ứng với một cái gì đó khá trực quan. Các định lý phong bì cho chúng ta biết

μ

$\mu$

μ \in (0, \infty)

$\mu \in (0,\infty)$

M \in (0, | | β^{O L S} | |)

$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$

lim_{μ \to 0} M (μ) = | | β^{O L S} | |

$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$

lim_{μ \to \infty} M (μ) = 0

$\lim_{\mu \to \infty} M(\mu) = 0$

μ (M)

$\mu(M)$ tương ứng với việc giảm biên do lỗi chúng tôi nhận được từ một thư giãn nhỏ của ràng buộc . Điều này giải thích tại sao khi tương ứng với. Một khi các ràng buộc không ràng buộc, không có giá trị trong việc thư giãn nó nữa, đó là lý do tại sao số nhân biến mất.

M

$M$

μ \to 0

$\mu \to 0$

M \to | | β^{O L S} | |

$M \to \left|\right|\beta^{OLS}\left|\right|$

— stats_model
nguồn

bạn có thể vui lòng cung cấp cho chúng tôi câu trả lời chi tiết từng bước với một ví dụ thực tế nếu có thể.

— jeza

Rất cám ơn, tại sao bạn không đề cập đến KKT? Tôi không quen thuộc với lĩnh vực này, vì vậy hãy đối xử với tôi như một học sinh trung học.

— jeza

Các điều kiện KKT trong trường hợp này là sự khái quát hóa các điều kiện thứ tự đầu tiên mà tôi đề cập bằng cách phân biệt Lagrangian và đặt đạo hàm bằng 0. Vì trong ví dụ này, các ràng buộc giữ bằng đẳng thức, chúng ta không cần các điều kiện KKT trong đầy đủ nói chung. Trong các trường hợp phức tạp hơn, tất cả những gì xảy ra là một số bất đẳng thức trên trở thành bất đẳng thức và hệ số nhân trở thành 0 cho các ràng buộc trở thành không ràng buộc. Ví dụ: đây chính xác là những gì xảy ra khiở trên.

M > | | β^{O L S} | |

$M > ||\beta^{OLS}||$

— stats_model

Có một phân tích tuyệt vời của stats_model trong câu trả lời của anh ấy .

Tôi đã thử trả lời câu hỏi tương tự tại The Proof of Equivalent Formula of Ridge Regression .

Tôi sẽ có nhiều cách tiếp cận Hand On cho trường hợp này.
Hãy thử xem ánh xạ giữa và trong 2 mô hình. $t$ $\lambda$

Như tôi đã viết và có thể được nhìn thấy từ stats_model trong phân tích của mình , ánh xạ phụ thuộc vào dữ liệu. Do đó, chúng tôi sẽ chọn một nhận thức cụ thể của vấn đề. Tuy nhiên, mã và phác thảo giải pháp sẽ thêm trực giác cho những gì đang diễn ra.

Chúng tôi sẽ so sánh 2 mô hình sau:

The Regularized Model: \arg min_{x} \frac{1}{2} {‖ A x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

The Constrained Model: \begin{aligned} \arg min_{x} & \frac{1}{2} {‖ A x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

Giả sử rằng là giải pháp của mô hình chính quy và là giải pháp của mô hình bị ràng buộc. $\hat{x}$ $\tilde{x}$

Chúng tôi đang xem xét ánh xạ từ đến sao cho . Nhìn vào giải pháp của tôi để giải quyết các bình phương tối thiểu bình thường, người ta có thể thấy rằng việc giải Mô hình bị ràng buộc liên quan đến việc giải Mô hình chính quy và tìm khớp với (Mã thực tế được trình bày trong Least Squares với Euclidean ( ) Ràng buộc định mức ). $t$ $\lambda$ $\hat{x} = \tilde{x}$
$\lambda$ $t$ ${L}_{2}$

Vì vậy, chúng tôi sẽ chạy cùng một bộ giải và với mỗi chúng tôi sẽ hiển thị tối ưu . $t$ $\lambda$

Bộ giải cơ bản giải quyết:

\begin{aligned} \arg_{λ} & λ \\ subject to & {‖ {(A^{T} A + 2 λ I)}^{- 1} A^{T} b ‖}_{2}^{2} - t = 0 \end{aligned}

$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$

Vì vậy, đây là Ma trận của chúng tôi:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

Và đây là vector của chúng tôi:

Đây là ánh xạ:

Như có thể thấy ở trên, với giá trị đủ cao của tham số như mong đợi. $t$ $\lambda = 0$

Phóng to phạm vi [0, 10]:

Mã đầy đủ có sẵn trên Kho lưu trữ GitHub được xác thực chéo của StackExchange .

— Hoàng gia
nguồn