Bayesian Lasso vs cành và phiến

Câu hỏi: Những lợi thế / bất lợi của việc sử dụng cái này trước cái kia để lựa chọn biến là gì?

Giả sử tôi có khả năng xảy ra: mà tôi có thể đặt hoặc một trong những priors:

y ~ N (X w, σ^{2} Tôi)

$y\sim\mathcal{N}(Xw,\sigma^2I)$

Hoặc:

w_{Tôi} ~ π δ_{0} + (1 - π) N (0, 100) π = = 0,9,

$w_i\sim \pi\delta_0+(1-\pi)\mathcal{N}(0,100)\\ \pi=0.9\,,$

w_{Tôi} ~ điểm kinh nghiệm (- λ | w_{Tôi} |) λ ~ Γ (1, 1) .

$w_i\sim \exp(-\lambda|w_i|)\\ \lambda \sim \Gamma(1,1)\,.$

$\pi=0.9$ $\lambda$

Tuy nhiên, giáo sư của tôi vẫn khăng khăng rằng phiên bản Lasso 'thu nhỏ' các hệ số và không thực sự thực hiện lựa chọn biến thích hợp, tức là có sự thu hẹp quá mức của các tham số liên quan.

$\frac{1}{|w_i|}$

bayesian feature-selection

— sachinruk
nguồn

Giáo sư của bạn là chính xác rằng nó đang thu hẹp các tham số có liên quan, nhưng vì vậy những gì? Nó chỉ thu nhỏ chúng đến mức chúng không góp phần đáng kể vào việc giảm lỗi. Và tại sao phải tập trung vào việc thực hiện lựa chọn biến phù hợp .. Không nên tập trung vào việc giảm (kiểm tra) lỗi

— seanv507

Đối với hầu hết các vấn đề có, tôi sẽ đồng ý. Tuy nhiên, đối với một số vấn đề (ví dụ: phát hiện ung thư với biểu hiện gen), điều cực kỳ quan trọng là tìm ra tính năng nào là yếu tố góp phần. ps tôi đã chuyển từ postdoc của tôi vì anh ấy là một kẻ ngốc. Máy học ftw !!!

— sachinruk

Spike và Slab tình cờ là tiêu chuẩn vàng trong lựa chọn biến và tôi cũng thích làm việc với LASSO. @Sachin_ruk: tăng đột biến và phiến trước có thể được thực hiện bằng cách sử dụng Variational Bayes ...

— Sandipan Karmakar

@SandipanKarmakar bạn có thể đăng một liên kết đề cập đến cành và phiến với Variational Bayes.

— sachinruk

Câu hỏi của bạn hợp nhất các vấn đề mô hình hóa [trước đó?] Và triển khai [variational Bayes]. Chúng nên được xử lý riêng.

— Tây An

Cả hai phương pháp này (LASSO so với spike-and-slab) có thể được hiểu là các vấn đề ước tính Bayes trong đó bạn chỉ định các tham số khác nhau. Một trong những khác biệt chính là phương pháp LASSO không đặt bất kỳ khối lượng điểm nào về 0 cho trước (nghĩa là các tham số gần như chắc chắn là không bằng một tiên nghiệm), trong khi phương pháp tăng đột biến đặt khối lượng điểm đáng kể trên không.

Theo ý kiến khiêm tốn của tôi, ưu điểm chính của phương pháp tăng đột biến là nó rất phù hợp với các vấn đề trong đó số lượng tham số nhiều hơn số điểm dữ liệu và bạn muốn loại bỏ hoàn toàn số lượng tham số đáng kể từ mô hình. Bởi vì phương pháp này đặt khối lượng điểm lớn về 0 trước, nó sẽ mang lại ước tính sau có xu hướng chỉ liên quan đến một tỷ lệ nhỏ của các tham số, hy vọng tránh việc khớp dữ liệu quá mức.

Khi giáo sư của bạn nói với bạn rằng trước đây không thực hiện một phương pháp lựa chọn biến, điều ông có thể có nghĩa là đây. Theo LASSO, mỗi tham số gần như chắc chắn khác không là một tiên nghiệm (nghĩa là tất cả chúng đều nằm trong mô hình). Vì khả năng cũng khác không so với hỗ trợ tham số, điều này cũng có nghĩa là mỗi cái gần như chắc chắn là khác không (ví dụ, tất cả chúng đều nằm trong mô hình). Bây giờ, bạn có thể bổ sung điều này bằng một thử nghiệm giả thuyết và loại bỏ các tham số ra khỏi mô hình theo cách đó, nhưng đó sẽ là một thử nghiệm bổ sung được áp dụng trên đầu mô hình Bayes.

Kết quả ước tính Bayes sẽ phản ánh sự đóng góp từ dữ liệu và đóng góp từ trước đó. Đương nhiên, một phân phối trước tập trung chặt chẽ hơn quanh 0 (như gai và phiến) thực sự sẽ "thu nhỏ" các ước lượng tham số kết quả, so với trước đó ít tập trung hơn (như LASSO). Tất nhiên, "thu hẹp" này chỉ là hiệu ứng của thông tin trước đó bạn đã chỉ định. Hình dạng của LASSO trước có nghĩa là nó đang thu hẹp tất cả các ước tính tham số về giá trị trung bình, liên quan đến một phẳng hơn trước.

— Phục hồi Monica
nguồn