Trong cài đặt nào bạn muốn mô hình được tìm thấy bởi LARS khác với hầu hết mô hình được tìm thấy bởi tìm kiếm toàn diện?

Thêm một chút thông tin; giả sử rằng

1. bạn biết trước có bao nhiêu biến để chọn và bạn đặt hình phạt phức tạp trong thủ tục LARS để có chính xác có bao nhiêu biến có hệ số không 0,
2. chi phí tính toán không phải là một vấn đề (tổng số biến là nhỏ, giả sử 50),
3. rằng tất cả các biến (y, x) là liên tục.

Trong cài đặt nào, mô hình LARS (nghĩa là độ khớp OLS của các biến đó có hệ số khác không trong độ khớp LARS) sẽ khác biệt nhất với mô hình có cùng số hệ số nhưng được tìm thấy thông qua tìm kiếm toàn diện (a la regsubets ())?

Chỉnh sửa: Tôi đang sử dụng 50 biến và 250 quan sát với các hệ số thực được rút ra từ một gaussian tiêu chuẩn ngoại trừ 10 biến có hệ số 'thực' là 0 (và tất cả các tính năng có tương quan mạnh với nhau). Các cài đặt này rõ ràng là không tốt vì sự khác biệt giữa hai bộ biến được chọn là phút. Đây thực sự là một câu hỏi về loại cấu hình dữ liệu nào nên mô phỏng để có được sự khác biệt nhất.

Dưới đây là mô tả về thuật toán LARS: http://www-stat.stanford.edu/~tibs/lasso/simple.html Nó bỏ qua mối tương quan giữa các biến hồi quy nên tôi sẽ mạo hiểm đoán rằng nó có thể bỏ lỡ sự phù hợp trong trường hợp đa hình.

Bạn càng có nhiều tính năng, liên quan đến số lượng mẫu, bạn càng có nhiều khả năng phù hợp với phương pháp tìm kiếm vượt trội so với LARS. Thuật ngữ hình phạt được sử dụng trong LARS áp đặt cấu trúc lồng nhau của các mô hình ngày càng phức tạp, được lập chỉ mục bởi một tham số chính quy duy nhất, do đó "mức độ tự do" của lựa chọn tính năng với LARS là khá thấp. Đối với tìm kiếm exaustive, có một mức độ tự do (nhị phân) cho mỗi tính năng, có nghĩa là tìm kiếm exaustive có thể khai thác tốt hơn sự thay đổi ngẫu nhiên trong tiêu chí lựa chọn tính năng do lấy mẫu ngẫu nhiên của dữ liệu. Do đó, mô hình tìm kiếm vượt trội có thể sẽ được trang bị phù hợp với tiêu chí lựa chọn tính năng, vì "lớp giả thuyết" lớn hơn.