Giải thích hình học của hồi quy tuyến tính bị phạt

Tôi biết rằng hồi quy tuyến tính có thể được coi là "đường thẳng gần nhất với tất cả các điểm" :

nhập mô tả hình ảnh ở đây

Nhưng có một cách khác để xem nó, bằng cách hình dung không gian cột, là "hình chiếu lên không gian được kéo dài bởi các cột của ma trận hệ số" :

nhập mô tả hình ảnh ở đây

Câu hỏi của tôi là: trong hai cách hiểu này, điều gì xảy ra khi chúng ta sử dụng hồi quy tuyến tính bị phạt, như hồi quy sườn và LASSO ? Điều gì xảy ra với dòng trong giải thích đầu tiên? Và điều gì xảy ra với phép chiếu trong cách hiểu thứ hai?

CẬP NHẬT: @JohnSmith trong các bình luận đưa ra thực tế rằng hình phạt xảy ra trong không gian của các hệ số. Có một giải thích trong không gian này cũng?

regression intuition geometry

— Lucas Reis
nguồn

Tôi không chắc chắn rằng có thể đưa ra một giải thích như vậy. Đơn giản vì những gì bạn cung cấp là hình ảnh trong không gian ban đầu của các tính năng và phản hồi. Và hồi quy bị phạt liên quan đến không gian của các hệ số, rất khác nhau.

— Dmitry Laptev

"Đường thẳng đứng gần nhất với tất cả các điểm"? Người ta thường lấy tổng bình phương - xem hình ảnh đẹp trên Wikipedia Coffic_of_determination . Tổng khoảng cách dọc là chỉ tiêu L1, ít nhạy cảm hơn với các ngoại lệ nhưng ít phổ biến hơn nhiều.

— chối

Câu trả lời:

Xin lỗi vì kỹ năng vẽ tranh của tôi, tôi sẽ cố gắng cung cấp cho bạn trực giác sau đây.

Đặt là hàm mục tiêu (ví dụ: MSE trong trường hợp hồi quy). Hãy tưởng tượng những âm mưu đường viền của hàm này trong màu đỏ (tất nhiên chúng ta vẽ nó trong khoảng thời gian , ở đây vì đơn giản và ). $f(\beta)$ $\beta$ $\beta_1$ $\beta_2$

Có tối thiểu chức năng này, ở giữa các vòng tròn màu đỏ. Và mức tối thiểu này cho chúng ta giải pháp không bị phạt.

$g(\beta)$ $g(\beta) = \lambda (|\beta_1| + |\beta_2|)$ $g(\beta) = \lambda (\beta_1^2 + \beta_2^2)$ $\lambda$ $\lambda$ $g(x)$

$f(\beta) + g(\beta)$

Hồi quy LASSO và Ridge

Hình phạt lớn hơn, các đường viền màu xanh "hẹp hơn" mà chúng ta nhận được, và sau đó các ô gặp nhau ở một điểm gần bằng không. Một vise-Versa: hình phạt càng nhỏ, các đường viền mở rộng và giao điểm của các ô màu xanh và đỏ đến gần trung tâm của vòng tròn đỏ (giải pháp không bị phạt).

$\beta_1 = 0$ $\beta_2 = 0$

$0$

Hy vọng rằng sẽ giải thích một số trực giác về cách hoạt động của hồi quy bị phạt trong không gian của các tham số.

— Dmitry Laptev
nguồn

Tôi nghĩ rằng bắt đầu với một bức tranh cổ điển, như bạn đã làm, là một khởi đầu tốt. Để thực sự hiểu điều này, tôi nghĩ sẽ hữu ích khi mô tả các đường viền liên quan đến vấn đề như thế nào. Đặc biệt, chúng tôi biết trong cả hai trường hợp, chúng tôi càng đưa ra hình phạt nhỏ hơn, chúng tôi sẽ càng tiến gần đến giải pháp OLS và càng lớn, càng gần với mô hình chặn thuần túy mà chúng tôi sẽ nhận được. Một câu hỏi được đặt ra là: Làm thế nào điều này thể hiện chính nó trong hình của bạn?

— Đức hồng y

Nhân tiện, kỹ năng vẽ của bạn có vẻ tốt.

— Đức hồng y

Cám ơn bạn đã góp ý! Mọi thứ đều đơn giản theo trực giác ở đây: hình phạt lớn hơn, đường viền màu xanh "hẹp hơn" mà chúng ta nhận được (và sau đó điểm hai lô gặp nhau tiến gần đến 0). Một vise-Versa: hình phạt càng nhỏ: càng gần trung tâm của vòng tròn màu đỏ, các ô sẽ gặp (OLS).

— Dmitry Laptev

g (x)

$g(x)$

λ

$\lambda$

Cảm ơn đã minh họa rõ ràng. Tôi đã đọc ở nơi khác rằng tổng số mục tiêu tối thiểu xảy ra khi chúng tiếp xúc với nhau. Tôi hiểu rằng nếu f (\ beta) '= -g (\ beta)' có nghĩa là đạo hàm của tổng bằng 0, đây là một yêu cầu cho một điểm cực trị. Đây có phải là những gì có nghĩa ở đây bởi "khi hai lô đường viền gặp nhau"?

— odedbd

Trực giác tôi có như sau: Trong trường hợp bình phương nhỏ nhất, ma trận mũ là một hình chiếu trực giao do đó không có giá trị. Trong trường hợp bị phạt, ma trận mũ không còn bình thường nữa. Trên thực tế, áp dụng nó vô hạn nhiều lần, sẽ thu nhỏ các hệ số về nguồn gốc. Mặt khác, các hệ số vẫn phải nằm trong khoảng của các yếu tố dự đoán, vì vậy nó vẫn là một phép chiếu, mặc dù không trực giao. Độ lớn của yếu tố xử phạt và loại định mức kiểm soát khoảng cách và hướng co ngót về phía gốc.

— JohnRos
nguồn

Tôi không thể hiểu tại sao nó không bình thường: nếu tôi chiếu vectơ trong không gian (ngay cả khi nó không phải là phép chiếu trực giao) và tôi đặt một ràng buộc trong các hệ số, tại sao một phép chiếu mới của vectơ chiếu này lại khác với trước đó một?

— Lucas Reis

Theo trực giác: Giả sử bạn đang giảm thiểu tổng số hình vuông bị phạt lần thứ hai. Tổng bình phương ở mức tối thiểu hóa thứ hai nhỏ hơn tổng bình phương của mức tối thiểu thứ nhất. Tầm quan trọng tương đối của định mức của các hệ số bị phạt sẽ tăng lên, nghĩa là, có nhiều hơn để đạt được bằng cách thu hẹp các hệ số một số nữa. Hồi quy độ dốc là một ví dụ điển hình trong đó bạn có một dạng đóng đẹp cho ma trận mũ và bạn có thể trực tiếp kiểm tra xem nó có phải là idempotent không.

— JohnRos