Các nhà thống kê có ý nghĩa gì khi họ nói rằng chúng ta không thực sự hiểu cách LASSO (chính quy hóa) hoạt động?

Gần đây tôi đã tham gia một vài cuộc nói chuyện thống kê về Lasso (chính quy hóa) và một điểm tiếp tục được đưa ra là chúng tôi không thực sự hiểu tại sao Lasso hoạt động hoặc tại sao nó hoạt động tốt như vậy. Tôi tự hỏi những gì tuyên bố này được đề cập đến. Rõ ràng tôi hiểu tại sao Lasso hoạt động về mặt kỹ thuật, bằng cách ngăn chặn quá mức bằng cách thu nhỏ các tham số, nhưng tôi tự hỏi liệu có một ý nghĩa sâu sắc hơn đằng sau một tuyên bố như vậy. Có ai có ý tưởng nào? Cảm ơn!

machine-learning lasso regularization

— người dùng321627
nguồn

Xác định "công trình". Làm việc để làm gì, chính xác? Có tác dụng tăng độ thưa? Có tác dụng ngăn ngừa quá mức? Công trình sản xuất thử nghiệm thống kê hợp lý? - Hay nói cách khác, "không hoạt động" nghĩa là gì trong bối cảnh này? - Như bạn có thể thấy từ các nhận xét về câu trả lời hiện tại, có một số nhầm lẫn về những gì bạn đang theo dõi.

— RM

@RM, bạn thực sự chỉ đang đọc lại OP, IMHO. OP có lẽ sau cùng một ẩn số mà bạn gặp khó khăn để xác định.

— Richard Hardy

@RichardHardy Tôi thấy điều đó có thể như thế nào, nhưng nếu vậy, tôi hy vọng rằng OP ít nhất có thể mở rộng bối cảnh trong các cuộc thảo luận thống kê trong đó đưa ra quan điểm, để hy vọng giúp chúng tôi tập trung vào những gì những người nói đó có thể đã suy nghĩ

— RM

@RM, tốt rồi.

— Richard Hardy

Câu trả lời:

Đôi khi thiếu sự giao tiếp giữa các nhà thống kê làm việc và cộng đồng lý thuyết học tập nghiên cứu nền tảng của các phương pháp như Lasso. Các tính chất lý thuyết của Lasso thực sự được hiểu rất rõ.

Tài liệu này có một bản tóm tắt trong Phần 4 của nhiều thuộc tính mà nó thích. Kết quả khá kỹ thuật, nhưng về cơ bản:

Nó phục hồi sự hỗ trợ thực sự (tập hợp các mục nhập khác không) của một vectơ trọng lượng thưa thớt theo một số giả định nhẹ, cho các bộ dữ liệu đủ lớn, với xác suất cao.
Nó hội tụ đến vectơ trọng lượng chính xác ở tốc độ tối ưu khi kích thước mẫu tăng, miễn là các cột của không quá tương quan. $X$

— AaronDefazio
nguồn

Nếu bằng cách hiểu tại sao Lasso hoạt động, bạn có nghĩa là hiểu lý do tại sao nó thực hiện lựa chọn tính năng (nghĩa là đặt trọng số cho một số tính năng thành chính xác 0), chúng tôi hiểu rất rõ điều đó:

— súc miệng
nguồn

Cảm ơn vì một minh họa đẹp, nhưng tôi nghi ngờ đó không phải là phần mà OP quan tâm. Tất nhiên, tùy thuộc vào OP để làm rõ điều đó.

— Richard Hardy

Tôi không hiểu (các) điểm của sơ đồ của bạn.

— Michael R. Chernick 30/03/2017

Tôi đã bị từ chối vì sơ đồ này đã xuất hiện từ ít nhất là giấy Lasso gốc của Tibshirani và không giúp ích gì cho câu hỏi. Chúng tôi hiểu rất rõ lý do tại sao một hình phạt dẫn đến sự thưa thớt trong Lasso tiêu chuẩn, nhưng có nhiều điều hơn đối với Lasso hơn thế. Có những câu hỏi về phân phối hệ số và kiểm tra giả thuyết, sửa đổi hình phạt để buộc một số mẫu nhất định, kết quả không có triệu chứng như tính không phù hợp, hiệu suất khi chúng tôi cắm được chọn qua CV và nhiều hơn nữa

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

— vào

@Chaconne, điểm của bạn là cơ sở tuyệt vời cho câu trả lời!

— Richard Hardy

@Chaconne, nó dường như để tạo ra cuộc thảo luận hữu ích mặc dù bằng cách xác định những gì chúng ta làm hiểu về Lasso!

— rinspy 30/03/2017

Có vấn đề về phục hồi dấu hiệu của tính nhất quán lựa chọn mô hình (đã được các nhà thống kê trả lời ) và

có vấn đề suy luận (xây dựng các khoảng tin cậy tốt cho các ước tính), cho đến khi trở thành một chủ đề nghiên cứu.

Hầu hết các công việc được thực hiện bởi các nhà thống kê chứ không phải là "cộng đồng lý thuyết học tập".

— Gao Trịnh
nguồn

Làm thế nào điều này thêm vào những gì đã được đưa ra?

— Michael R. Chernick

Không ai đề cập đến vấn đề suy luận ở đây, mà tôi tin là lý do tại sao yêu cầu bồi thường ("nó không được hiểu rõ") được đưa ra ngay từ đầu.

— Gao Zheng