Sự khác biệt giữa hồi quy và ANOVA (aov so với lm trong R)

Tôi luôn có ấn tượng rằng hồi quy chỉ là một dạng ANOVA tổng quát hơn và kết quả sẽ giống hệt nhau. Tuy nhiên, gần đây, tôi đã chạy cả hồi quy và ANOVA trên cùng một dữ liệu và kết quả khác nhau đáng kể. Đó là, trong mô hình hồi quy cả hiệu ứng chính và tương tác đều có ý nghĩa, trong khi trong ANOVA, một hiệu ứng chính không đáng kể. Tôi hy vọng điều này có liên quan đến sự tương tác, nhưng đối với tôi không rõ điều gì khác biệt về hai cách mô hình hóa cùng một câu hỏi này. Nếu nó quan trọng, một yếu tố dự đoán là phân loại và cái còn lại là liên tục, như được chỉ ra trong mô phỏng dưới đây.

Dưới đây là một ví dụ về dữ liệu của tôi trông như thế nào và phân tích tôi đang chạy, nhưng không có cùng giá trị p hoặc hiệu ứng có ý nghĩa trong kết quả (kết quả thực tế của tôi được nêu ở trên):

group<-c(1,1,1,0,0,0)
moderator<-c(1,2,3,4,5,6)
score<-c(6,3,8,5,7,4)

summary(lm(score~group*moderator))
summary(aov(score~group*moderator))

Các summarychức năng gọi các phương thức khác nhau tùy thuộc vào các lớp của đối tượng. Sự khác biệt không nằm ở aovvs lm, nhưng trong thông tin được trình bày về các mô hình. Ví dụ, nếu bạn đã sử dụng anova(mod1)và anova(mod2)thay vào đó, bạn sẽ nhận được kết quả tương tự.

Như @Glen nói, điều quan trọng là liệu các bài kiểm tra được báo cáo dựa trên tổng bình phương Loại 1 hay Loại 3. Chúng sẽ khác nhau khi tương quan giữa các biến giải thích của bạn không chính xác bằng 0. Khi chúng tương quan với nhau, một số SS là duy nhất cho một yếu tố dự đoán và một số khác, nhưng một số SS có thể được quy cho một hoặc cả hai. ( Bạn có thể hình dung điều này bằng cách tưởng tượng biểu tượng MasterCard- khác là một vùng nhỏ chồng chéo ở trung tâm.) Không có câu trả lời duy nhất trong tình huống này, và thật không may, đây là tiêu chuẩn cho dữ liệu phi thực nghiệm. Một cách tiếp cận là để nhà phân tích sử dụng phán đoán của họ và gán SS chồng chéo cho một trong các biến. Biến đó đi vào mô hình đầu tiên. Biến còn lại đi vào mô hình thứ hai và lấy SS trông giống như một cái bánh quy với vết cắn được lấy ra từ nó. Hiệu ứng của nó có thể được kiểm tra bằng cái mà đôi khi được gọi là $R^2$thay đổi hoặc F thay đổi. Cách tiếp cận này sử dụng SS loại 1. Ngoài ra, bạn có thể thực hiện việc này hai lần với mỗi lần vào trước và báo cáo thử nghiệm thay đổi F cho cả hai yếu tố dự đoán. Theo cách này, không biến nào có được SS do sự chồng chéo. Cách tiếp cận này sử dụng SS loại 3. (Tôi cũng nên nói với bạn rằng cách tiếp cận thứ hai được tổ chức ở mức độ thấp.)

Theo gợi ý của @BrettMagill trong bình luận bên dưới, tôi có thể cố gắng làm cho điều này rõ ràng hơn một chút. (Lưu ý rằng, trong ví dụ của tôi, tôi chỉ sử dụng 2 dự đoán và không có tương tác, nhưng ý tưởng này có thể được thu nhỏ để bao gồm bất cứ điều gì bạn thích.)

Loại 1: SS (A) và SS (B | A)

Loại 3: SS (A | B) và SS (B | A)

Các kết quả từ đầu ra aov đang cung cấp cho bạn xác suất dựa trên tổng bình phương Loại 1. Đây là lý do tại sao kết quả tương tác là như nhau và các hiệu ứng chính khác nhau.

Nếu bạn sử dụng xác suất dựa trên tổng bình phương Loại 3 thì chúng sẽ khớp với kết quả hồi quy tuyến tính.

library(car)
Anova(aov(score~group*moderator),type=3)

Sự khác biệt chính giữa hồi quy tuyến tính và ANOVA là, trong ANOVA, các biến dự đoán là rời rạc (nghĩa là chúng có các mức khác nhau). Trong khi đó trong hồi quy tuyến tính, các biến dự đoán là liên tục.