Nếu LASSO tương đương với hồi quy tuyến tính với Laplace trước thì làm sao có thể có khối lượng trên các tập hợp với các thành phần bằng 0?

Tất cả chúng ta đều quen thuộc với khái niệm, được ghi lại trong tài liệu, rằng tối ưu hóa LASSO (vì đơn giản là chú ý đến trường hợp hồi quy tuyến tính) tương đương với mô hình tuyến tính có lỗi Gaussian trong đó các tham số được đưa ra cho Laplace trước Chúng tôi cũng biết rằng cái cao hơn sẽ đặt tham số điều chỉnh, , phần tham số càng lớn được đặt thành không. Điều này đang được nói, tôi có câu hỏi suy nghĩ sau đây:

tôi o S S = = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

${\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1$

điểm kinh nghiệm (- λ ‖ β ‖_{1})

$\exp(-\lambda \| \beta \|_1 )$

λ

$\lambda$

Hãy xem xét từ quan điểm Bayes, chúng ta có thể tính xác suất sau, giả sử, ước tính tham số khác không nằm trong bất kỳ tập hợp các khoảng nhất định nào và các tham số được đặt thành 0 bởi LASSO bằng 0. Điều khiến tôi bối rối là, vì Laplace trước là liên tục (thực tế là hoàn toàn liên tục) thì làm sao có thể có bất kỳ khối lượng nào trên bất kỳ tập hợp nào là sản phẩm của các khoảng và singletons tại $\{0\}$ ?

lasso laplace-distribution

— Grant Izmirlian
nguồn

Điều gì khiến bạn nghĩ rằng hậu thế cũng không phải là một pdf liên tục? Thực tế là tối đa của hậu thế xảy ra tại một điểm xảy ra có rất nhiều thành phần 0 không có nghĩa là bản thân nó không phải là một pdf liên tục.

— Brian Borchers

Các hậu thế là một PDF liên tục. Được xem là ước tính khả năng tối đa bị ràng buộc, nếu chúng ta tưởng tượng các lần rút lặp lại từ cùng một phân phối dữ liệu khi mô hình thực có các số 0 ở các hệ số hồi quy và hằng số điều chỉnh đủ lớn thì CMLE sẽ luôn có cùng các thành phần được đặt thành 0 và không các tham số bằng không sẽ trải ra thành các khoảng tin cậy tương ứng. Từ quan điểm bayes, điều này tương đương với việc có xác suất dương cho các tập hợp như vậy. Câu hỏi của tôi là làm thế nào điều này có thể được như vậy cho một phân phối liên tục.

— Grant Izmirlian

Giải pháp CLME trùng với ước tính MAP. Thật sự không còn gì để nói nữa.

— Sycorax nói Phục hồi lại

Giải pháp CMLE không phải là một mẫu từ phía sau.

— Brian Borchers

Không có mâu thuẫn vì hậu thế không đặt khối lượng lên các chiều có chiều thấp hơn.

— Tây An

Giống như tất cả các ý kiến trên, cách giải thích LASSO của Bayes không lấy giá trị kỳ vọng của phân phối sau, đây là điều bạn muốn làm nếu bạn là người theo chủ nghĩa thuần túy. Nếu đó là trường hợp, thì bạn sẽ đúng rằng có rất ít khả năng rằng hậu thế sẽ bằng không với dữ liệu.

Trong thực tế, cách giải thích Bayes của LASSO đang lấy công cụ ước tính MAP (Maximum A Posteriori) của hậu thế. Nghe có vẻ quen thuộc, nhưng đối với bất kỳ ai không biết, về cơ bản, đây là Khả năng tối đa của Bayes, trong đó bạn sử dụng giá trị tương ứng với xác suất xuất hiện tối đa (hoặc chế độ) làm công cụ ước tính của bạn cho các tham số trong LASSO. Vì phân phối tăng theo cấp số nhân cho đến 0 từ hướng tiêu cực và giảm theo cấp số nhân theo hướng tích cực, trừ khi dữ liệu của bạn cho thấy beta là một giá trị quan trọng khác, giá trị tối đa của giá trị sau của bạn có thể là 0.

Tóm lại, trực giác của bạn dường như dựa trên giá trị trung bình của hậu thế, nhưng cách giải thích của Bayes về LASSO dựa trên việc lấy chế độ của hậu thế.

— www3
nguồn