Các phương pháp tốt nhất để lựa chọn tính năng cho hồi quy không theo tỷ lệ

10

Một câu hỏi cho người mới ở đây. Tôi hiện đang thực hiện hồi quy không theo tỷ lệ bằng cách sử dụng gói np trong R. Tôi có 7 tính năng và sử dụng phương pháp tiếp cận mạnh mẽ tôi đã xác định tốt nhất 3. Nhưng, tôi sẽ sớm có nhiều hơn 7 tính năng!

Câu hỏi của tôi là các phương pháp tốt nhất hiện nay để lựa chọn tính năng cho hồi quy không theo tỷ lệ. Và nếu có gói nào thực hiện các phương thức. Cảm ơn bạn.

r machine-learning nonparametric feature-selection

— jmmcnew
nguồn

1

"100 nhiều hơn" có nghĩa là gì? 1000? 10000? 100000?

— robin girard

Có lẽ tôi sẽ có thứ tự 100 tính năng. Nhưng tôi chỉ có vài phút để đưa ra quyết định về tập hợp tính năng tốt nhất.

— jmmcnew

1

Bạn đã thử lasso hoặc lưới đàn hồi? gói: lasso, glmnet. Những phương pháp đó có thể "chọn" một số phương sai khi đang di chuyển.

— deps_stats

3

Trừ khi xác định các biến có liên quan nhất là mục tiêu chính của phân tích, tốt hơn hết là không nên thực hiện bất kỳ lựa chọn tính năng nào và sử dụng chính quy để ngăn chặn sự phù hợp quá mức. Lựa chọn tính năng là một thủ tục khó khăn và tất cả đều quá dễ dàng để phù hợp với tiêu chí lựa chọn tính năng vì có nhiều mức độ tự do. LASSO và lưới đàn hồi là một sự thỏa hiệp tốt, đạt được sự thưa thớt thông qua chính quy hóa hơn là thông qua lựa chọn tính năng trực tiếp, do đó chúng ít bị ảnh hưởng bởi hình thức phù hợp quá mức cụ thể đó.

— Sao Hỏa Dikran
nguồn

0

Lasso thực sự là một người tốt. Những điều đơn giản như bắt đầu bằng không, và thêm từng cái một được sắp xếp trên 'tính hữu dụng' (thông qua xác nhận chéo) cũng hoạt động khá tốt trong thực tế. Điều này đôi khi được gọi là lựa chọn thức ăn theo giai đoạn.

Lưu ý rằng vấn đề lựa chọn tập hợp con khá độc lập về kiểu phân loại / hồi quy. Chỉ là các phương pháp không tham số có thể chậm và do đó đòi hỏi các phương pháp lựa chọn thông minh hơn.

Cuốn sách 'Các yếu tố của học thống kê' từ T. Hastie cho một cái nhìn tổng quan tốt đẹp.

— Ông WHITE
nguồn