Tính toán tập hợp con tốt nhất của dự báo cho hồi quy tuyến tính

Để lựa chọn các yếu tố dự báo trong hồi quy tuyến tính đa biến với các yếu tố dự đoán phù hợp , phương pháp nào có sẵn để tìm một tập hợp con 'tối ưu' của các yếu tố dự đoán mà không kiểm tra rõ ràng tất cả các tập con ? Trong Analysis Phân tích sinh tồn được áp dụng, 'Hosmer & Lemeshow tham chiếu đến phương pháp của Kuk, nhưng tôi không thể tìm thấy bài báo gốc. Bất cứ ai cũng có thể mô tả phương pháp này, hoặc, thậm chí tốt hơn, một kỹ thuật hiện đại hơn? Người ta có thể giả định lỗi phân phối bình thường.2 $p$$2^p$

Tôi chưa bao giờ nghe về phương pháp của Kuk, nhưng chủ đề nóng hiện nay là tối thiểu hóa L1. Lý do là nếu bạn sử dụng một điều khoản phạt của giá trị tuyệt đối của các hệ số hồi quy, thì các giá trị không quan trọng sẽ về không.

Những kỹ thuật này có một số tên vui nhộn: Lasso, LARS, Dantzig chọn. Bạn có thể đọc các bài báo, nhưng một nơi tốt để bắt đầu là với các yếu tố của học thống kê , Chương 3.

Đây là một chủ đề rất lớn. Như đã đề cập trước đây, Hastie, Tibshirani và Friedman giới thiệu tốt về Ch3 về các yếu tố của học thống kê.

Một vài điểm. 1) Ý của bạn là "tốt nhất" hay "tối ưu" là gì? Điều gì là tốt nhất theo một nghĩa có thể không tốt nhất theo nghĩa khác. Hai tiêu chí phổ biến là độ chính xác dự đoán (dự đoán biến kết quả) và tạo ra các ước lượng không thiên vị của các hệ số. Một số phương pháp, chẳng hạn như Lasso & Ridge Regression chắc chắn tạo ra các ước lượng hệ số sai lệch.

2) Bản thân cụm từ "tập con tốt nhất" có thể được sử dụng theo hai nghĩa riêng biệt. Nói chung để đề cập đến tập hợp con tốt nhất trong số tất cả các dự đoán tối ưu hóa một số tiêu chí xây dựng mô hình. Cụ thể hơn, nó có thể đề cập đến thuật toán hiệu quả của Furnival và Wilson để tìm tập hợp con đó trong số (~ 50) số dự đoán tuyến tính vừa phải (Regressions by Leaps and Bound. Technometrics, Tập 16, Số 4 (Tháng 11, 1974), pp. 499-51)

http://www.jstor.org/ sóng / 1267601

Điều tôi học được là trước tiên sử dụng Phương pháp tiếp cận phụ tốt nhất làm công cụ sàng lọc, sau đó các quy trình lựa chọn từng bước có thể giúp bạn cuối cùng quyết định mô hình nào có thể là mô hình tập hợp con tốt nhất (tại thời điểm này số lượng mô hình đó khá nhỏ để xử lý). Nếu một trong các mô hình đáp ứng các điều kiện mô hình, thực hiện tốt việc tóm tắt xu hướng trong dữ liệu và quan trọng nhất là cho phép bạn trả lời câu hỏi nghiên cứu của mình, thì xin chúc mừng công việc của bạn đã hoàn thành.