Là ANOVA dựa vào phương pháp của khoảnh khắc và không dựa trên khả năng tối đa?


13

Tôi thấy được đề cập ở nhiều nơi mà ANOVA thực hiện ước tính của mình bằng phương pháp khoảnh khắc.

Tôi bối rối bởi sự khẳng định đó bởi vì, mặc dù tôi không quen với phương pháp của khoảnh khắc, nhưng sự hiểu biết của tôi là nó là một cái gì đó khác biệt và không tương đương với phương pháp khả năng tối đa; mặt khác, ANOVA có thể được coi là một hồi quy tuyến tính với các yếu tố dự báo phân loại và ước tính OLS của các tham số hồi quy khả năng tối đa.

Vì thế:

  1. Những gì đủ điều kiện thủ tục ANOVA là phương pháp của khoảnh khắc?

  2. Cho rằng ANOVA tương đương với OLS với các yếu tố dự đoán phân loại, đó có phải là khả năng tối đa không?

  3. Nếu hai phương pháp này bằng cách nào đó hóa ra là tương đương trong trường hợp đặc biệt của ANOVA thông thường, có một số tình huống ANOVA cụ thể khi sự khác biệt trở nên quan trọng? Thiết kế không cân đối? Biện pháp lặp đi lặp lại? Thiết kế hỗn hợp (giữa chủ thể + bên trong chủ thể)?


4
Trong cài đặt đơn giản, và đơn giản, ý tôi là ANOVA một và hai chiều, ANOVA có nguồn gốc từ một LRT theo các phân phối bình thường với phương sai bằng nhau nên khả năng tối đa được sử dụng. Tất nhiên đối với trường hợp bình thường, ước lượng mle và mẹ trùng nhau nên sự khác biệt không phải là rất quan trọng. Tuy nhiên, trong các cài đặt phức tạp hơn là lấy LRT, chúng tôi dựa vào hồi quy OLS. OLS chỉ là mle dưới một phân phối bình thường và là một công cụ ước tính mẹ trong cài đặt tổng quát hơn, nếu chúng ta áp đặt tính trực giao với các phần dư.
JohnK

1
@ John, cảm ơn rất nhiều về nhận xét của bạn nhưng tôi khó hiểu một số phần của nó, đặc biệt là phần thứ hai: "cài đặt phức tạp hơn" trong đó ANOVA dựa vào OLS thay vì LRT (và tại sao)? Tại sao OLS không phải MLE trong "cài đặt tổng quát hơn" này - Tôi nghĩ rằng các lỗi thông thường luôn được giả định trong bất kỳ kịch bản ANOVA nào? Tính trực giao với phần dư phải làm gì? Tôi sẽ đánh giá rất cao nếu bạn mở rộng nhận xét của mình thành một câu trả lời.
amip nói rằng Phục hồi lại

2
@amoeba. Tôi đã chỉnh sửa câu trả lời của mình để giải quyết vấn đề đầu tiên của bạn về ANOVA là một phương pháp ước tính khoảnh khắc. Điều đó chỉ đúng với các hiệu ứng ngẫu nhiên.
Placidia

Câu trả lời:


12

Lần đầu tiên tôi gặp ANOVA khi tôi còn là sinh viên Thạc sĩ tại Oxford năm 1978. Cách tiếp cận hiện đại, bằng cách dạy các biến liên tục và phân loại cùng nhau trong mô hình hồi quy bội, khiến các nhà thống kê trẻ khó hiểu điều gì đang xảy ra. Vì vậy, nó có thể hữu ích để trở lại thời gian đơn giản hơn.

Ở dạng ban đầu, ANOVA là một bài tập về số học, theo đó bạn chia tổng số bình phương thành các phần liên quan đến phương pháp điều trị, khối, tương tác, bất cứ điều gì. Trong một thiết lập cân bằng, các tổng bình phương có ý nghĩa trực quan (như SSB và SST) cộng với tổng số bình phương đã điều chỉnh. Tất cả những điều này hoạt động là nhờ Định lý của Cochran . Sử dụng Cochran, bạn có thể tìm ra các giá trị dự kiến ​​của các thuật ngữ này theo các giả thuyết null thông thường và thống kê F chảy từ đó.

Như một phần thưởng, một khi bạn bắt đầu nghĩ về Cochran và các tổng bình phương, sẽ rất hợp lý khi tiếp tục cắt và cắt nhỏ các trị số của các ô vuông bằng cách sử dụng các tương phản trực giao. Mỗi mục trong bảng ANOVA nên có một cách giải thích về mối quan tâm đối với nhà thống kê và đưa ra một giả thuyết có thể kiểm chứng.

Gần đây tôi đã viết một câu trả lời cho thấy sự khác biệt giữa các phương pháp MOM và ML. Câu hỏi bật ước tính mô hình hiệu ứng ngẫu nhiên. Tại thời điểm này, phương pháp ANOVA truyền thống hoàn toàn là công ty phụ tùng với ước tính khả năng tối đa và các ước tính về hiệu ứng không còn giống nhau. Khi thiết kế không cân bằng, bạn cũng không nhận được số liệu thống kê F giống nhau.

σp2σ2σ2+nσp2nσb2^. ANOVA mang lại một phương pháp ước lượng khoảnh khắc cho phương sai hiệu ứng ngẫu nhiên. Bây giờ, chúng ta có xu hướng giải quyết các vấn đề như vậy với các mô hình hiệu ứng hỗn hợp và các thành phần phương sai thu được thông qua ước tính khả năng tối đa hoặc REML.

ANOVA như vậy không phải là một phương pháp thủ tục khoảnh khắc. Nó bật chia tách tổng bình phương (hay nói chung hơn là một dạng phản ứng bậc hai) thành các thành phần mang lại các giả thuyết có ý nghĩa. Nó phụ thuộc mạnh mẽ vào tính quy tắc vì chúng tôi muốn các tổng bình phương có các phân phối chi bình phương cho các thử nghiệm F hoạt động.

Khung khả năng tối đa là tổng quát hơn và áp dụng cho các tình huống như mô hình tuyến tính tổng quát nơi các tổng bình phương không áp dụng. Một số phần mềm (như R) mời sự nhầm lẫn bằng cách chỉ định các phương pháp anova để kiểm tra tỷ lệ khả năng với các phân phối chi bình phương không triệu chứng. Người ta có thể biện minh cho việc sử dụng thuật ngữ "anova", nhưng nói đúng ra, lý thuyết đằng sau nó là khác nhau.


2
Bài kiểm tra F của ANOVA một chiều và hai chiều bài kiểm tra tỷ lệ khả năng và bạn có thể tham khảo Hogg và Craig, Nhập môn vào Thống kê toán học, chương 9 nếu bạn không tin tôi. Hơn nữa, bài kiểm tra F được sử dụng trong hồi quy bình thường cũng là một LRT, rất nhiều tài liệu tham khảo cho điều đó.
JohnK

1
Tôi sẽ kiểm tra. Để bây giờ, tôi đã loại bỏ đoạn văn.
Placidia

1
+1, cảm ơn bạn rất nhiều vì câu trả lời. Chính xác thì câu trả lời được liên kết của bạn đã kích hoạt câu hỏi của tôi. Có nhiều điều tôi không hiểu lắm trong những gì bạn viết. Tôi sẽ đi du lịch vào dịp năm mới và sẽ không có thời gian để suy nghĩ về nó, nhưng tôi sẽ quay lại chủ đề này một khi tôi trở lại vào tháng Giêng. Trong thời gian đó, tôi muốn một lần nữa khuyến khích @JohnK đăng câu trả lời mở rộng về những điểm mà anh ấy đưa ra trong các bình luận. Tôi đặc biệt đánh giá cao một số giải thích kỹ thuật hơn, có lẽ với một ví dụ cụ thể. Giáng sinh vui vẻ và năm mới hạnh phúc đến tất cả các bạn!
amip nói rằng Phục hồi Monica

1
Giáng sinh vui vẻ đến bạn nhé. Trong bài đăng được liên kết của tôi, tôi chỉ nghĩ về ước tính của phương sai hiệu ứng ngẫu nhiên, đó là MOM theo cách tiếp cận truyền thống. Xin lỗi nếu nhận xét của tôi nghe có vẻ chung chung hơn mà tôi dự định.
Placidia

2
Sau 1,5 năm tôi đọc lại câu trả lời của bạn và nhận ra rằng nó khá rõ ràng, vì vậy cuối cùng tôi đã đánh dấu nó là được chấp nhận :-) Chúc mừng.
amip nói phục hồi Monica
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.