Các hệ số hồi quy mà lật dấu sau khi bao gồm các yếu tố dự đoán khác

Hãy tưởng tượng

• Bạn chạy hồi quy tuyến tính với bốn bộ dự báo số (IV1, ..., IV4)
• Khi chỉ có IV1 được đưa vào làm công cụ dự đoán, beta được chuẩn hóa là +.20
• Khi bạn cũng bao gồm IV2 đến IV4, dấu hiệu của hệ số hồi quy được tiêu chuẩn hóa của IV1 chuyển sang -.25(nghĩa là nó trở thành âm).

Điều này dẫn đến một vài câu hỏi:

• Liên quan đến thuật ngữ, bạn có gọi đây là "hiệu ứng triệt tiêu" không?
• Những chiến lược nào bạn sẽ sử dụng để giải thích và hiểu hiệu ứng này?
• Bạn có bất kỳ ví dụ về các hiệu ứng như vậy trong thực tế và làm thế nào bạn giải thích và hiểu những hiệu ứng này?

Multicollinearity là nghi phạm thông thường như JoFrhwld đã đề cập. Về cơ bản, nếu các biến của bạn có tương quan dương, thì các hệ số sẽ có tương quan nghịch, điều này có thể dẫn đến một dấu hiệu sai trên một trong các hệ số.

Một kiểm tra sẽ là thực hiện hồi quy thành phần chính hoặc hồi quy sườn. Điều này làm giảm tính chiều của không gian hồi quy, xử lý tính đa hình. Bạn kết thúc với ước tính sai lệch nhưng có thể là MSE thấp hơn và các dấu hiệu đã được sửa. Cho dù bạn có đi với những kết quả cụ thể đó hay không, đó là một kiểm tra chẩn đoán tốt. Nếu bạn vẫn nhận được thay đổi dấu hiệu, nó có thể là lý thuyết thú vị.

CẬP NHẬT

Theo nhận xét trong câu trả lời của John Christie, điều này có thể thú vị. Sự đảo ngược trong liên kết (cường độ hoặc hướng) là những ví dụ về Nghịch lý của Simpson, Nghịch lý và Hiệu ứng đàn áp của Chúa. Sự khác biệt về cơ bản liên quan đến loại biến. Tìm hiểu hiện tượng cơ bản hơn là suy nghĩ về một "nghịch lý" hay hiệu ứng cụ thể. Đối với quan điểm nhân quả, bài viết dưới đây thực hiện tốt việc giải thích lý do tại sao và tôi sẽ trích dẫn dài dòng giới thiệu và kết luận của họ để kích thích sự thèm ăn của bạn.

• Vai trò của lý luận nhân quả trong việc tìm hiểu nghịch lý của Simpson, nghịch lý của Chúa và hiệu ứng triệt tiêu: lựa chọn đồng biến trong phân tích các nghiên cứu quan sát

Tu et al trình bày một phân tích về sự tương đương của ba nghịch lý, kết luận rằng cả ba chỉ đơn giản nhắc lại sự thay đổi không đáng ngạc nhiên trong mối liên hệ của bất kỳ hai biến nào khi một biến thứ ba được kiểm soát theo thống kê. Tôi gọi điều này là không ngạc nhiên vì sự đảo ngược hoặc thay đổi cường độ là phổ biến trong phân tích có điều kiện. Để tránh một trong hai, chúng ta phải tránh phân tích có điều kiện hoàn toàn. Điều gì về nghịch lý của Simpson và Lord hay hiệu ứng đàn áp, ngoài việc họ chỉ ra điều hiển nhiên, thu hút những lợi ích gián đoạn và đôi khi đáng báo động được thấy trong tài liệu?

[...]

Tóm lại, không thể nhấn mạnh rằng mặc dù những nghịch lý của Simpson và những điều liên quan bộc lộ những nguy cơ của việc sử dụng các tiêu chí thống kê để hướng dẫn phân tích nguyên nhân, họ không nắm giữ những giải thích về hiện tượng mà họ cố tình miêu tả cũng như chỉ ra cách tránh. Các giải thích và giải pháp nằm trong lý luận nhân quả dựa trên kiến ​​thức nền tảng, không phải tiêu chí thống kê. Đã đến lúc chúng ta ngừng điều trị các dấu hiệu và triệu chứng bị hiểu sai ('nghịch lý'), và bắt tay vào công việc xử lý căn bệnh này ('nguyên nhân'). Chúng ta nên chuyển sự chú ý của mình sang vấn đề lâu năm về lựa chọn đồng biến để phân tích nguyên nhân bằng cách sử dụng dữ liệu phi thực nghiệm.

Tôi tin rằng các hiệu ứng như thế này thường được gây ra bởi cộng tuyến (xem câu hỏi này ). Tôi nghĩ rằng cuốn sách về mô hình đa cấp của Gelman và Hill nói về nó. Vấn đề là IV1tương quan với một hoặc nhiều dự đoán khác và khi tất cả chúng được đưa vào mô hình, ước tính của chúng trở nên thất thường.

Nếu hệ số lật là do cộng tuyến, thì nó không thực sự thú vị để báo cáo, bởi vì đó không phải là do mối quan hệ giữa các yếu tố dự đoán của bạn với kết quả, mà thực sự là do mối quan hệ giữa các yếu tố dự đoán.

Những gì tôi đã thấy đề xuất để giải quyết vấn đề này là dư. Đầu tiên, bạn phù hợp với một mô hình cho IV2 ~ IV1, sau đó lấy phần dư của mô hình đó làm rIV2. Nếu tất cả các biến của bạn là tương quan, bạn thực sự nên dư tất cả chúng. Bạn có thể chọn làm như vậy

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Bây giờ, phù hợp với mô hình cuối cùng với

DV ~ IV1 + rIV2 + rIV3 + rIV4

Bây giờ, hệ số rIV2biểu thị hiệu ứng độc lập của IV2mối tương quan với nó IV1. Tôi đã nghe nói bạn sẽ không nhận được kết quả tương tự nếu bạn tồn tại theo một thứ tự khác và việc chọn thứ tự còn lại thực sự là một lời kêu gọi phán xét trong nghiên cứu của bạn.

Xem Nghịch lý của Simpson . Nói tóm lại, hiệu ứng chính được quan sát có thể đảo ngược khi một tương tác được thêm vào mô hình. Tại trang được liên kết hầu hết các ví dụ là phân loại nhưng có một con số ở đầu trang người ta có thể tưởng tượng liên tục. Ví dụ: nếu bạn có một công cụ dự báo phân loại và liên tục thì công cụ dự đoán liên tục có thể dễ dàng lật dấu hiệu nếu một công cụ phân loại được thêm vào và trong mỗi danh mục, dấu hiệu này khác với điểm tổng thể.