Khi nào bỏ một thuật ngữ từ mô hình hồi quy?

Bất cứ ai có thể tư vấn nếu sau đây có ý nghĩa:

Tôi đang làm việc với một mô hình tuyến tính thông thường với 4 yếu tố dự đoán. Tôi đang ở trong hai suy nghĩ liệu có nên bỏ thuật ngữ ít quan trọng nhất. Giá trị của nó là hơn 0,05 một chút. Tôi đã lập luận ủng hộ việc bỏ nó dọc theo các dòng sau: Nhân ước tính của thuật ngữ này với (ví dụ) phạm vi liên dữ liệu của biến này cho ý nghĩa lâm sàng mà việc giữ thuật ngữ này có trong mô hình tổng thể . Vì con số này rất thấp, xấp xỉ bằng phạm vi giá trị trong ngày điển hình mà biến có thể lấy khi đo nó trong môi trường lâm sàng, tôi thấy nó không có ý nghĩa lâm sàng và do đó có thể bị loại bỏ để đưa ra một mô hình khác biệt hơn, thậm chí mặc dù thả nó làm giảm điều chỉnh một chút.$p$$R^2$

Tôi chưa bao giờ hiểu mong muốn cho sự khôn ngoan. Tìm kiếm phân tích phá hủy tất cả các khía cạnh của suy luận thống kê (sai lệch của hệ số hồi quy, sai số chuẩn, khoảng tin cậy, giá trị P). Một lý do tốt để giữ các biến là điều này bảo tồn độ chính xác của khoảng tin cậy và các đại lượng khác. Hãy nghĩ về nó theo cách này: chỉ có hai công cụ ước lượng không thiên vị về phương sai dư trong hồi quy bội thông thường: (1) ước tính từ mô hình (lớn) được chỉ định trước và (2) ước tính từ mô hình giảm thay thế mức độ tổng quát của tự do (GDF) cho mức độ tự do hồi quy (giảm) rõ ràng. GDF sẽ gần với số lượng tham số ứng cử viên hơn nhiều so với số lượng tham số "đáng kể" cuối cùng.

Đây là một cách khác để nghĩ về nó. Giả sử bạn đang thực hiện ANOVA để so sánh 5 phương pháp điều trị, nhận xét nghiệm F 4 df. Sau đó, vì một số lý do, bạn xem xét sự khác biệt theo cặp giữa các phương pháp điều trị bằng các xét nghiệm t và quyết định kết hợp hoặc loại bỏ một số phương pháp điều trị (điều này giống như thực hiện lựa chọn từng bước bằng cách sử dụng P, AIC, BIC, Cp trên 4 biến giả). Thử nghiệm F kết quả với 1, 2 hoặc 3 df sẽ có lỗi loại I tăng cao. Thử nghiệm F ban đầu với 4 df chứa một điều chỉnh bội số hoàn hảo.

Những câu trả lời về việc lựa chọn các biến đều cho rằng chi phí quan sát các biến là 0.

Và điều đó không đúng.

Mặc dù vấn đề lựa chọn các biến cho một mô hình nhất định có thể có hoặc không liên quan đến lựa chọn, nhưng những tác động đối với hành vi trong tương lai DOES liên quan đến lựa chọn.

Hãy xem xét vấn đề dự đoán lineman đại học nào sẽ làm tốt nhất trong NFL. Bạn là một trinh sát. Bạn phải xem xét những phẩm chất nào của các linemen hiện tại trong NFL được dự đoán nhiều nhất về thành công của họ. Bạn đo 500 số lượng và bắt đầu nhiệm vụ lựa chọn số lượng sẽ cần trong tương lai.

Những gì bạn nên làm? Bạn có nên giữ lại tất cả 500? Có nên loại bỏ một số (dấu hiệu chiêm tinh, ngày trong tuần)?

Đây là một câu hỏi quan trọng, và không mang tính học thuật. Có một chi phí cho việc quan sát dữ liệu và khung hiệu quả chi phí cho thấy rằng một số biến KHÔNG CẦN được quan sát trong tương lai, vì giá trị của chúng thấp.

Có ít nhất hai lý do có thể khác để giữ một biến: 1) Nó ảnh hưởng đến các tham số cho các biến KHÁC. 2) Thực tế là nó nhỏ rất thú vị về mặt lâm sàng

Để xem khoảng 1, bạn có thể xem các giá trị dự đoán cho mỗi người từ một mô hình có và không có biến trong mô hình. Tôi đề nghị tạo một biểu đồ phân tán của hai bộ giá trị này. Nếu không có sự khác biệt lớn, thì đó là một lập luận chống lại lý do này

Đối với 2, hãy nghĩ về lý do tại sao bạn có biến này trong danh sách các biến có thể. Có dựa trên lý thuyết không? Có nghiên cứu khác tìm thấy một kích thước hiệu ứng lớn?

Lời khuyên phổ biến nhất hiện nay là lấy AIC của hai mẫu và lấy mẫu có AIC thấp hơn. Vì vậy, nếu mô hình đầy đủ của bạn có AIC là -20 và mô hình không có yếu tố dự đoán yếu nhất có AIC> -20 thì bạn giữ nguyên mô hình. Một số người có thể lập luận rằng nếu sự khác biệt <3 bạn giữ cho đơn giản hơn. Tôi thích lời khuyên rằng bạn có thể sử dụng BIC để phá vỡ "mối quan hệ" khi AIC nằm trong phạm vi 3 của nhau.

Nếu bạn đang sử dụng R sau đó lệnh để có được AIC là ... AIC.

Tôi có một cuốn sách giáo khoa về mô hình hóa ở đây từ đầu những năm 90 gợi ý rằng bạn bỏ tất cả các dự đoán của bạn không đáng kể. Tuy nhiên, điều này thực sự có nghĩa là bạn sẽ không phụ thuộc vào độ phức tạp mà người dự đoán thêm hoặc bớt khỏi mô hình. Nó cũng chỉ dành cho ANOVA trong đó tầm quan trọng là về sự thay đổi được giải thích thay vì độ lớn của độ dốc trong ánh sáng của những điều khác đã được giải thích. Lời khuyên hiện đại hơn về việc sử dụng AIC sẽ cân nhắc các yếu tố này. Có tất cả các loại lý do dự đoán không quan trọng nên được đưa vào ngay cả khi nó không đáng kể. Ví dụ, có thể có các vấn đề tương quan với các yếu tố dự đoán khác với nó có thể là một yếu tố dự đoán tương đối đơn giản. Nếu bạn muốn lời khuyên đơn giản nhất hãy đến với AIC và sử dụng BIC để phá vỡ mối quan hệ và sử dụng mức chênh lệch 3 làm cửa sổ bình đẳng của bạn.

Bạn đang sử dụng mô hình này để làm gì? Là Parsimony là một mục tiêu quan trọng?

Các mô hình khác biệt hơn được ưa thích trong một số trường hợp, nhưng tôi sẽ không nói rằng mô hình phân tích là một điều tốt trong chính nó. Các mô hình phân tích có thể được hiểu và truyền đạt dễ dàng hơn, và phân tích cú pháp có thể giúp bảo vệ chống lại sự phù hợp quá mức, nhưng thường thì những vấn đề này không phải là mối quan tâm lớn hoặc có thể được giải quyết theo cách khác.

Tiếp cận từ hướng ngược lại, bao gồm một thuật ngữ phụ trong phương trình hồi quy có một số lợi ích ngay cả trong các tình huống mà chính thuật ngữ phụ không quan tâm và nó không cải thiện mô hình phù hợp nhiều ... bạn có thể không nghĩ rằng nó là một biến quan trọng để kiểm soát, nhưng những người khác có thể. Tất nhiên, có những lý do thực sự rất quan trọng khác để loại trừ một biến, ví dụ: nó có thể được gây ra bởi kết quả.

Từ cách diễn đạt của bạn, có vẻ như bạn có xu hướng bỏ dự đoán cuối cùng bởi vì giá trị dự đoán của nó thấp; một thay đổi đáng kể về yếu tố dự đoán đó sẽ không bao hàm sự thay đổi đáng kể về biến phản ứng. Nếu đó là trường hợp, thì tôi thích tiêu chí này để bao gồm / bỏ dự đoán. Nó có cơ sở trong thực tế thực tế hơn AIC hoặc BIC, và có thể giải thích nhiều hơn cho khán giả của bạn cho nghiên cứu này.