Định mức của Ridge & LASSO

Bài đăng này theo sau bài này: Tại sao ước tính sườn núi trở nên tốt hơn OLS bằng cách thêm một hằng số vào đường chéo?

Đây là câu hỏi của tôi:

Theo như tôi biết, chính quy hóa sườn núi sử dụng -norm (khoảng cách euclide). Nhưng tại sao chúng ta sử dụng bình phương của định mức này? (một ứng dụng trực tiếp của sẽ dẫn đến căn bậc hai của tổng bình phương beta).ℓ $\ell_2$$\ell_2$

Để so sánh, chúng tôi không làm điều này cho LASSO, sử dụng -norm để chuẩn hóa. Nhưng ở đây, đó là định mức "thực" (chỉ bằng tổng bình phương của các giá trị tuyệt đối beta và không phải là bình phương của tổng này).ℓ $\ell_1$$\ell_1$

Ai đó có thể giúp tôi làm rõ?

Ridge và lasso là hai cách chính quy và hồi quy. Hồi quy Lasso áp đặt một ràng buộc đối với tổng các hệ số tuyệt đối:

$\sum_i \sqrt{\beta_i^2} = ||\beta||_1$

Hồi quy sườn áp đặt một ràng buộc của tổng các khác biệt bình phương:

$\sum_i \beta_i^2 = \sqrt{\sum_i \beta_i^2}^2 = ||\beta_i||_2^2$

Bạn đề nghị giới thiệu thậm chí một tiêu chuẩn khác, độ dài euclide của các hệ số:

$\sqrt{\sum_i \beta_i^2} = ||\beta_i||_2$

Sự khác biệt giữa hồi quy Ridge và độ dài euclide là bình phương. Điều này không thay đổi việc giải thích chính quy. Trong khi cả sườn núi và chiều dài euclide đều đều về 0, hồi quy sườn cũng khác nhau về lượng chính quy. Các hệ số xa hơn từ 0 kéo mạnh hơn về 0. Điều này làm cho nó ổn định hơn xung quanh 0 vì sự chính quy hóa thay đổi dần dần về 0. Đây không phải là trường hợp cho chiều dài euclide, hoặc như một vấn đề thực tế, cho hồi quy lasso.

Hiện tại có rất nhiều cách tiếp cận bị phạt có tất cả các loại chức năng hình phạt khác nhau (sườn núi, lasso, MCP, SCAD). Câu hỏi tại sao một trong những hình thức cụ thể về cơ bản là "những lợi thế / bất lợi nào mà hình phạt đó mang lại?".

Các thuộc tính quan tâm có thể là:

1) các công cụ ước tính gần như không thiên vị (lưu ý tất cả các công cụ ước tính bị phạt sẽ bị sai lệch)

2) Độ thưa thớt (lưu ý hồi quy sườn núi không tạo ra kết quả thưa thớt tức là nó không thu nhỏ hệ số về không)

3) Tính liên tục (để tránh mất ổn định trong dự đoán mô hình)

Đây chỉ là một vài thuộc tính người ta có thể quan tâm đến chức năng phạt.

Làm việc với một khoản tiền trong các công cụ phái sinh và công việc lý thuyết sẽ dễ dàng hơn rất nhiều: vd: và. Hãy tưởng tượng nếu chúng ta có hoặc . Lấy các dẫn xuất (cần thiết để hiển thị kết quả lý thuyết như tính nhất quán, tính bình thường tiệm cận, v.v.) sẽ là một nỗi đau với các hình phạt như thế.| | β | | 1 = Σ | β tôi | $||\beta||_2^2=\sum |\beta_i|^2$$||\beta||_1 = \sum |\beta_i|$ (Σ|betai|)$\sqrt{\left(\sum |\beta_i|^2\right)}$$\left( \sum |\beta_i|\right)^2$

Trên thực tế, cả bình phương của -norm và -norm đều xuất phát từ cùng một loại chính quy: khi .ℓ $\ell_2$$\ell_1$ p > $\|\boldsymbol{\beta}\|_p^p$$p > 0$

Hồi quy Ridge sau đó sử dụng và Lasso nhưng người ta có thể sử dụng các giá trị khác của .p = 1 $p=2$$p=1$$p$

Ví dụ: bạn có giải pháp thưa thớt cho tất cả các giá trị của và giá trị của càng nhỏ thì giải pháp càng nhỏ.$p \leq 1$$p$

Đối với các giá trị của mục tiêu của bạn không còn trơn tru nữa nên việc tối ưu hóa trở nên khó khăn hơn; với , mục tiêu là không lồi và do đó việc tối ưu hóa thậm chí còn khó hơn ...p < $p \leq 1$$p<1$

Tôi tin rằng có một câu trả lời thậm chí còn đơn giản hơn ở đây, mặc dù các câu hỏi "tại sao" luôn khó trả lời khi một kỹ thuật được phát triển. Bình phương -norm được sử dụng sao cho thuật ngữ chính quy dễ dàng phân biệt. Hồi quy sườn giảm thiểu:$l_2$

Điều này cũng có thể được viết:

Bây giờ có thể dễ dàng phân biệt wrt để có được giải pháp dạng đóng:$\beta$

từ đó tất cả các loại suy luận có thể được bắt nguồn.

Hãy xem xét một sự khác biệt quan trọng khác giữa việc sử dụng bình phương của định mức (nghĩa là hồi quy sườn) và định mức chưa sửa đổi : đạo hàm của định mức của , , tại được cho bởi và do đó không phân biệt ở vectơ không. Đó là, mặc dù định mức không thực hiện lựa chọn biến riêng lẻ như lasso, nhưng về mặt lý thuyết , nó có thể mang lại như là giải pháp cho khả năng bị phạt tối đa. Bằng cách bình phươngℓ 2 ℓ 2 x | | x | | 2 x $\ell_2$$\ell_2$$\ell_2$$x$$||x||_2$$x$ ℓ2β=0ℓ$\frac{x}{ ||x||_2}$$\ell_2$$\beta=0$$\ell_2$ thông thường trong hình phạt, hình phạt kiểu sườn núi là khác biệt ở mọi nơi và không bao giờ có thể mang lại một giải pháp như vậy.

Hành vi này chính xác (theo cách hiểu của tôi) tại sao nhóm lasso (Yuan và Lin) và nhóm lasso thưa thớt (Simon, et al.), , sử dụng định mức (trên các tập con được chỉ định trước của các hệ số) thay vì hình vuông của định mức .ℓ $\ell_2$$\ell_2$