Phát hiện các yếu tố dự báo quan trọng trong số nhiều biến độc lập

Trong một tập dữ liệu của hai quần thể không chồng chéo (bệnh nhân và khỏe mạnh, tổng ) tôi muốn tìm (trong số biến độc lập) các yếu tố dự báo quan trọng cho biến phụ thuộc liên tục. Tương quan giữa các yếu tố dự đoán là hiện tại. Tôi quan tâm đến việc tìm hiểu xem có bất kỳ yếu tố dự đoán nào có liên quan đến biến phụ thuộc "trong thực tế" không (thay vì dự đoán biến phụ thuộc càng chính xác càng tốt). Khi tôi bị choáng ngợp với vô số cách tiếp cận có thể, tôi muốn hỏi cách tiếp cận nào được khuyến nghị nhất.$n=60$$300$

• Từ bao gồm từng bước hiểu biết của tôi hoặc loại trừ các nhân tố ảnh được không được khuyến khích

• Ví dụ: chạy hồi quy tuyến tính riêng cho mọi yếu tố dự đoán và giá trị p chính xác cho nhiều so sánh bằng FDR (có thể rất bảo thủ?)

• Hồi quy thành phần chính: khó diễn giải vì tôi sẽ không thể nói về sức mạnh dự đoán của các yếu tố dự đoán riêng lẻ mà chỉ về các thành phần.

• bất cứ một đề nghị nào khác?

Tôi sẽ khuyên bạn nên thử một glm với thường xuyên lasso . Điều này thêm một hình phạt cho mô hình cho số lượng biến và khi bạn tăng hình phạt, số lượng biến trong mô hình sẽ giảm.

Bạn nên sử dụng xác thực chéo để chọn giá trị của tham số hình phạt. Nếu bạn có R, tôi khuyên bạn nên sử dụng gói glmnet . Sử dụng alpha=1cho hồi quy lasso và alpha=0hồi quy sườn. Đặt giá trị từ 0 đến 1 sẽ sử dụng kết hợp các hình phạt lasso và sườn núi, còn được gọi là lưới đàn hồi.

Để mở rộng câu trả lời của Zach (+1), nếu bạn sử dụng phương pháp LASSO trong hồi quy tuyến tính, bạn đang cố gắng giảm thiểu tổng một hàm bậc hai và hàm giá trị tuyệt đối, nghĩa là:

Phần đầu tiên là bậc hai trong (vàng bên dưới) và phần thứ hai là một đường cong hình vuông (màu xanh lá cây bên dưới). Đường màu đen là đường giao nhau. $\beta$

Điểm tối thiểu nằm trên đường cong giao nhau, được vẽ ở đây với các đường cong của đường cong bậc hai và hình vuông:

Bạn có thể thấy mức tối thiểu nằm trên một trong các trục, do đó nó đã loại bỏ biến đó khỏi hồi quy.

Bạn có thể kiểm tra bài đăng trên blog của tôi về việc sử dụng hình phạt cho hồi quy và lựa chọn biến (còn được gọi là chính quy Lasso). $L1$

Niềm tin trước đây của bạn về bao nhiêu dự đoán có khả năng là quan trọng? Có khả năng là hầu hết trong số chúng có hiệu ứng chính xác bằng không, hoặc mọi thứ đều ảnh hưởng đến kết quả, một số biến chỉ ít hơn các biến khác?

Và tình trạng sức khỏe liên quan đến nhiệm vụ dự đoán như thế nào?

Nếu bạn tin rằng chỉ có một vài biến là quan trọng, bạn có thể thử spike và slab trước (ví dụ trong gói spikeSlabGAM của R) hoặc L1. Nếu bạn nghĩ rằng tất cả các dự đoán ảnh hưởng đến kết quả, bạn có thể không gặp may.

Và nói chung, tất cả các cảnh báo liên quan đến suy luận nguyên nhân từ dữ liệu quan sát được áp dụng.

Dù bạn làm gì, cũng đáng để có được khoảng tin cậy của bootstrap trên hàng ngũ tầm quan trọng của các yếu tố dự đoán để cho thấy rằng bạn thực sự có thể làm điều này với tập dữ liệu của mình. Tôi nghi ngờ rằng bất kỳ phương pháp nào cũng có thể tìm thấy các dự đoán "thực sự" một cách đáng tin cậy.

Tôi nhớ hồi quy Lasso không hoạt động tốt khi , nhưng tôi không chắc. Tôi nghĩ trong trường hợp này, Elastic Net thích hợp hơn cho việc lựa chọn biến.$n \leq p$