Các đồng biến không có ý nghĩa thống kê có nên được 'giữ nguyên' khi tạo mô hình không?

Tôi có một số đồng biến trong tính toán của mình cho một mô hình và không phải tất cả chúng đều có ý nghĩa thống kê. Tôi có nên loại bỏ những cái không được?

Câu hỏi này thảo luận về hiện tượng này, nhưng không trả lời câu hỏi của tôi: Làm thế nào để giải thích tác động không đáng kể của một hiệp phương sai trong ANCOVA?

Tuy nhiên, không có gì trong câu trả lời cho câu hỏi đó cho thấy rằng các đồng biến không có ý nghĩa bị loại bỏ, vì vậy, ngay bây giờ tôi có xu hướng tin rằng họ nên ở lại. vẫn có thể giải thích một số phương sai (và do đó giúp mô hình) mà không nhất thiết phải giải thích một số tiền vượt quá ngưỡng nào đó (ngưỡng ý nghĩa, mà tôi thấy là không áp dụng cho hiệp phương sai).

Có một câu hỏi khác ở đâu đó trên CV mà câu trả lời dường như ngụ ý rằng các đồng biến phải được giữ trong bất kể tầm quan trọng, nhưng không rõ ràng về điều đó. (Tôi muốn liên kết đến câu hỏi đó, nhưng tôi không thể theo dõi nó một lần nữa.)

Vậy ... Có nên giữ các đồng biến không có ý nghĩa thống kê trong tính toán cho mô hình không? (Tôi đã chỉnh sửa câu hỏi này để làm rõ rằng các đồng biến không bao giờ có trong đầu ra mô hình bằng cách tính toán.)

Để thêm phức tạp, điều gì xảy ra nếu các hiệp phương sai có ý nghĩa thống kê đối với một số tập hợp con của dữ liệu (các tập hợp con phải được xử lý riêng). Tôi sẽ mặc định giữ một đồng biến như vậy, nếu không thì các mô hình khác nhau sẽ phải được sử dụng hoặc bạn sẽ thiếu một hiệp phương sai có ý nghĩa thống kê trong một trong các trường hợp. Tuy nhiên, nếu bạn cũng có câu trả lời cho trường hợp phân chia này, vui lòng đề cập đến nó.

Bạn đã nhận được một số câu trả lời tốt. Có những lý do để giữ đồng biến và lý do để bỏ hiệp phương sai. Ý nghĩa thống kê không phải là một yếu tố quan trọng, trong phần lớn các trường hợp.

1. Covariates có thể có tầm quan trọng thực sự đến mức họ phải ở đó.
2. Kích thước hiệu ứng của hiệp phương sai có thể cao, ngay cả khi nó không đáng kể.
3. Hiệp phương sai có thể ảnh hưởng đến các khía cạnh khác của mô hình.
4. Hiệp phương sai có thể là một phần trong cách giả thuyết của bạn được diễn đạt.

Nếu bạn đang ở chế độ rất khám phá và hiệp phương sai không quan trọng trong tài liệu và kích thước hiệu ứng là nhỏ và hiệp phương sai có ít ảnh hưởng đến mô hình của bạn và hiệp phương sai không nằm trong giả thuyết của bạn, thì có lẽ bạn có thể xóa nó chỉ vì đơn giản .

Câu trả lời dài là "có". Có một vài lý do để loại bỏ các yếu tố dự đoán không đáng kể và nhiều lý do không nên. Theo như diễn giải chúng, bạn sẽ bỏ qua -value giống như bạn có thể diễn giải các yếu tố dự đoán khác: với khoảng tin cậy cho các hiệu ứng trên các phạm vi thú vị của yếu tố dự đoán.$P$

Một cái nhìn sâu sắc hữu ích là thực sự không có gì cụ thể về cách nói thống kê, xem ví dụ: Trợ giúp viết các biến số thành công thức hồi quy . Ngẫu nhiên, nó có thể giải thích tại sao không có covariatethẻ. Do đó, tài liệu ở đây và các nơi khác về các thuật ngữ không quan trọng trong mô hình tuyến tính có liên quan, cũng như các nhà phê bình nổi tiếng về hồi quy từng bước, ngay cả khi ANCOVA không được đề cập rõ ràng.

Nói chung, đó là một ý tưởng tồi để chọn dự đoán chỉ dựa trên ý nghĩa. Nếu vì lý do nào đó bạn không thể chỉ định trước mô hình, bạn nên xem xét các phương pháp khác nhưng nếu bạn dự định đưa chúng vào vị trí đầu tiên, thu thập dữ liệu phù hợp và không phải đối mặt với các vấn đề cụ thể (ví dụ như cộng tuyến), chỉ cần giữ chúng.

Về lý do để giữ chúng, những phản đối mà bạn đưa ra dường như có vẻ hợp với tôi. Một lý do khác là việc loại bỏ các yếu tố dự đoán không có ý nghĩa sai lệch dựa trên mô hình. Tuy nhiên, một cách khác để xem xét tất cả những điều này là hỏi những gì sẽ đạt được bằng cách loại bỏ các đồng biến này sau thực tế.

Chúng tôi thực sự cần thêm thông tin về mục tiêu của bạn để trả lời câu hỏi này. Các hồi quy được sử dụng cho hai mục đích chính:

1. Sự dự đoán
2. Suy luận

Dự đoán là khi mục tiêu của bạn là có thể đoán các giá trị của biến kết quả cho các quan sát không có trong mẫu (mặc dù thông thường chúng nằm trong phạm vi của dữ liệu mẫu, nếu không, đôi khi chúng tôi sử dụng từ "dự báo"). Dự đoán là hữu ích cho mục đích quảng cáo, tài chính, vv Nếu bạn chỉ quan tâm đến việc dự đoán một số biến kết quả, tôi có rất ít để cung cấp cho bạn.

Suy luận là nơi vui vẻ (ngay cả khi đó không phải là nơi có tiền). Suy luận là nơi bạn đang cố gắng đưa ra kết luận về các tham số mô hình cụ thể Thông thường để xác định hiệu ứng nhân quả của một biến này với biến khác. Mặc dù nhận thức chung, phân tích hồi quy không bao giờ đủ cho suy luận nguyên nhân. Bạn phải luôn biết nhiều hơn về quy trình tạo dữ liệu để biết liệu hồi quy của bạn có nắm bắt được hiệu ứng nhân quả hay không. Vấn đề chính cho suy luận nguyên nhân từ hồi quy là liệu trung bình có điều kiện của lỗi (có điều kiện trên các hồi quy) có bằng không. Điều này không thể được biết từ giá trị p trên các biến hồi quy. Có thể có các công cụ ước tính hồi quy không thiên vị hoặc nhất quán, nhưng điều đó đòi hỏi nhiều nỗ lực hơn là chỉ đưa một số điều khiển rõ ràng vào hồi quy và hy vọng bạn có được những điều quan trọng.Nắm vững các số liệu: Con đường từ nguyên nhân đến hiệu quả và chủ yếu là Kinh tế lượng vô hại ). Nắm vững Metrics là dễ đọc hơn và khá rẻ, nhưng được cảnh báo rằng nó không phải là một cách điều trị làm thế nào để hồi quy mà là ý nghĩa của chúng. Để bao quát tốt các ví dụ về thiết kế nghiên cứu quan sát tốt và xấu, tôi đề xuất "Mô hình thống kê và da giày" của David Freedman (1991), Phương pháp xã hội học , tập 21 (một cách ngắn gọn và dễ đọc với các ví dụ hấp dẫn).

Ngoài ra: nỗi ám ảnh về kỹ thuật thống kê đối với thiết kế nghiên cứu tốt trong hầu hết các khóa học đại học là một kiến ​​thức sư phạm của tôi.

Thứ hai sang một bên để thúc đẩy tầm quan trọng hiện tại của vấn đề này: sự khác biệt giữa dự đoán và suy luận là lý do tại sao dữ liệu lớn không thể thay thế cho khoa học.