Làm thế nào để biện minh cho thuật ngữ lỗi trong ANOVA giai thừa?

Một câu hỏi có lẽ rất cơ bản về ANOVA đa yếu tố. Giả sử thiết kế hai chiều trong đó chúng tôi kiểm tra cả hai hiệu ứng chính A, B và tương tác A: B. Khi kiểm tra hiệu ứng chính cho A với SS loại I, SS hiệu ứng được tính là chênh lệch , trong đó là tổng bình phương lỗi còn lại của mô hình chỉ với phần chặn, và RSS cho mô hình có thêm yếu tố A. Câu hỏi của tôi liên quan đến sự lựa chọn cho thuật ngữ lỗi:$RSS(1) - RSS(A)$$RSS(1)$$RSS(A)$

Làm thế nào để bạn biện minh rằng thuật ngữ lỗi cho thử nghiệm này thường được tính từ RSS của mô hình đầy đủ A + B + A: B bao gồm cả các hiệu ứng chính và tương tác?

... trái ngược với việc lấy thuật ngữ lỗi từ mô hình không bị hạn chế từ so sánh thực tế (RSS từ hiệu ứng chính A trong trường hợp trên):

Điều này tạo ra sự khác biệt, vì thuật ngữ lỗi từ mô hình đầy đủ có thể thường (không phải luôn luôn) nhỏ hơn thuật ngữ lỗi từ mô hình không bị hạn chế trong so sánh. Có vẻ như sự lựa chọn cho thuật ngữ lỗi có phần tùy ý, tạo khoảng trống cho các thay đổi giá trị p mong muốn chỉ bằng cách thêm / xóa các yếu tố không thực sự quan tâm, nhưng dù sao cũng thay đổi thuật ngữ lỗi.

Trong ví dụ sau, giá trị F cho A thay đổi đáng kể tùy thuộc vào lựa chọn cho mô hình đầy đủ, mặc dù so sánh thực tế cho hiệu ứng SS vẫn giữ nguyên.

> DV  <- c(41,43,50, 51,43,53,54,46, 45,55,56,60,58,62,62,
+          56,47,45,46,49, 58,54,49,61,52,62, 59,55,68,63,
+          43,56,48,46,47, 59,46,58,54, 55,69,63,56,62,67)

> IV1 <- factor(rep(1:3, c(3+5+7, 5+6+4, 5+4+6)))
> IV2 <- factor(rep(rep(1:3, 3), c(3,5,7, 5,6,4, 5,4,6)))
> anova(lm(DV ~ IV1))                           # full model = unrestricted model (just A)
          Df  Sum Sq Mean Sq F value Pr(>F)
IV1        2  101.11  50.556  0.9342 0.4009
Residuals 42 2272.80  54.114

> anova(lm(DV ~ IV1 + IV2))                     # full model = A+B
          Df  Sum Sq Mean Sq F value   Pr(>F)    
IV1        2  101.11   50.56  1.9833   0.1509    
IV2        2 1253.19  626.59 24.5817 1.09e-07 ***
Residuals 40 1019.61   25.49                     

> anova(lm(DV ~ IV1 + IV2 + IV1:IV2))           # full model = A+B+A:B
          Df  Sum Sq Mean Sq F value    Pr(>F)    
IV1        2  101.11   50.56  1.8102    0.1782    
IV2        2 1253.19  626.59 22.4357 4.711e-07 ***
IV1:IV2    4   14.19    3.55  0.1270    0.9717    
Residuals 36 1005.42   27.93

Câu hỏi tương tự áp dụng cho SS loại II, và nói chung cho một giả thuyết tuyến tính chung, nghĩa là, so sánh mô hình giữa một mô hình bị hạn chế và không bị hạn chế trong một mô hình đầy đủ. (Đối với SS loại III, mô hình không bị hạn chế luôn là mô hình đầy đủ, vì vậy câu hỏi không xuất hiện ở đó)

Đây là một câu hỏi rất cũ và tôi tin rằng câu trả lời của @ gung rất hay (+1). Nhưng vì nó không hoàn toàn thuyết phục đối với @caracal và vì tôi cũng không hoàn toàn làm theo tất cả những điều phức tạp của nó, tôi muốn cung cấp một con số đơn giản minh họa cách tôi hiểu vấn đề.

Hãy xem xét một ANOVA hai chiều (yếu tố A có ba cấp độ, yếu tố B có hai cấp độ) với cả hai yếu tố rõ ràng là rất quan trọng:

SS cho yếu tố A là rất lớn. SS cho yếu tố B nhỏ hơn nhiều, nhưng từ hình trên, rõ ràng yếu tố B vẫn rất quan trọng.

Lỗi SS cho mô hình chứa cả hai yếu tố được biểu thị bằng một trong sáu Gaussian và khi so sánh SS với yếu tố B với lỗi SS này, thử nghiệm sẽ kết luận rằng yếu tố B có ý nghĩa.

Lỗi SS cho mô hình chỉ chứa yếu tố B, tuy nhiên, là rất lớn! So sánh SS cho yếu tố B với lỗi SS lớn này chắc chắn sẽ dẫn đến B xuất hiện không đáng kể. Mà rõ ràng không phải là trường hợp.

Đó là lý do tại sao nó có ý nghĩa để sử dụng lỗi SS từ mô hình đầy đủ.

Cập nhật: Để làm rõ một số điểm tôi đưa ra khi chuyển qua đây, tôi đã thêm một số liên kết đến những nơi tôi thảo luận về các ý tưởng có liên quan đầy đủ hơn.

$RSS_{A}$$SS_{A}$$MS_{A}$$MS_{A+B+A*B}$

$RSS_{full}$$MS_{A+B+A*B} > MS_{A+B}$$SS_{A*B} = 14.19$$df_{R}$cũng đi xuống (năng suất ít hơn). Sự cân bằng của sự đánh đổi này về cơ bản được xác định bởi liệu SS liên quan đến yếu tố đó là có thật hay chỉ do tình cờ, trong thực tế, được chỉ ra một cách lỏng lẻo bởi liệu yếu tố đó có quan trọng ^{2 hay không} . Tuy nhiên, việc loại bỏ các yếu tố khỏi mô hình không đáng kể để có được thuật ngữ lỗi đúng tương đương về mặt logic với quy trình tìm kiếm mô hình tự động, ngay cả khi bạn không có phần mềm tự động làm điều đó cho bạn. Bạn nên biết rằng có rất nhiều vấn đề khi làm điều này. Những vấn đề đó, và các thủ tục thay thế được thảo luận ở nơi khác trên CV ³ .

Một chủ đề cuối cùng liên quan đến các loại SS khác nhau. Thứ nhất, việc sử dụng các loại SS khác nhau không giúp bạn thoát khỏi việc cần một sự biện minh hợp lý cho phân tích của mình. Nhưng hơn nữa, loại I - III SS có liên quan đến một vấn đề khác. Trong ví dụ của bạn, tôi tập hợp các yếu tố của bạn là trực giao, tức là bạn đã chạy thử nghiệm trong đó bạn đã gán n bằng nhau cho mỗi kết hợp các cấp độ yếu tố. Tuy nhiên, nếu bạn tiến hành một nghiên cứu quan sát, hoặc nếu bạn có vấn đề bỏ học, các yếu tố của bạn sẽ tương quan. Ý nghĩa của điều đó là không có cách duy nhất để phân vùng SS và do đó không có câu trả lời duy nhất cho các phân tích của bạn để đưa ra. Nói cách khác, các loại SS khác nhau phải thực hiện với các tử số khác nhau có thể có cho bài kiểm tra F của bạn khi các yếu tố của bạn tương quan ⁴ .

<sub>1. Lưu ý rằng với các mô hình đa cấp, một yếu tố có thể được lý thuyết hóa để bao gồm tính biến đổi từ các yếu tố khác, tùy thuộc vào cách mô hình được chỉ định. Tôi đang thảo luận về ANOVA thông thường ở đây, đó là những gì bạn dường như đang hỏi về.
2. Xem: Làm thế nào để thêm IV thứ 2 làm cho IV thứ nhất có ý nghĩa?
3. Xem: Thuật toán để chọn mô hình tự động .
4. Xem: Làm thế nào để giải thích loại I (tuần tự) ANOVA và MANOVA?</sub>

Lý do là yếu tố A đang giải thích phần trăm lớn hơn của biến thể không giải thích được trong mô hình A + B so với mô hình A, do yếu tố B giải thích một phần đáng kể (và do đó 'loại bỏ' nó khỏi phân tích).