ANOVA vs nhiều hồi quy tuyến tính? Tại sao ANOVA thường được sử dụng trong các nghiên cứu thực nghiệm?

ANOVA vs nhiều hồi quy tuyến tính?

Tôi hiểu rằng cả hai phương pháp này dường như sử dụng cùng một mô hình thống kê. Tuy nhiên trong hoàn cảnh nào tôi nên sử dụng phương pháp nào?

Những lợi thế và bất lợi của các phương pháp này khi so sánh là gì?

Tại sao ANOVA thường được sử dụng trong các nghiên cứu thực nghiệm và tôi hầu như không tìm thấy nghiên cứu hồi quy?

Sẽ rất thú vị khi đánh giá cao sự khác biệt nằm ở loại biến và đáng chú ý hơn là các loại biến giải thích . Trong ANOVA điển hình, chúng tôi có một biến phân loại với các nhóm khác nhau và chúng tôi cố gắng xác định xem phép đo của một biến liên tục có khác nhau giữa các nhóm hay không. Mặt khác, OLS có xu hướng được coi là chủ yếu là một nỗ lực đánh giá mối quan hệ giữa biến hồi quy hoặc biến trả lời liên tục và một hoặc nhiều biến hồi quy hoặc biến giải thích . Theo nghĩa này, hồi quy có thể được xem như là một kỹ thuật khác, cho vay để dự đoán các giá trị dựa trên đường hồi quy.

Tuy nhiên , sự khác biệt này không thể hiện sự mở rộng của ANOVA với phần còn lại của phân tích súp bảng chữ cái phương sai (ANCOVA, MANOVA, MANCOVA); hoặc bao gồm các biến được mã hóa giả trong hồi quy OLS. Tôi không rõ về các mốc lịch sử cụ thể, nhưng dường như cả hai kỹ thuật đã phát triển các điều chỉnh song song để giải quyết các mô hình ngày càng phức tạp.

Ví dụ, chúng ta có thể thấy rằng sự khác biệt giữa ANCOVA so với OLS với các biến giả (hoặc phân loại) (trong cả hai trường hợp có tương tác) đều là mỹ phẩm. Xin thứ lỗi cho sự ra đi của tôi từ giới hạn trong tiêu đề câu hỏi của bạn, liên quan đến nhiều hồi quy tuyến tính.

Trong cả hai trường hợp, mô hình về cơ bản giống hệt với điểm trong R , lmhàm được sử dụng để thực hiện ANCOVA . Tuy nhiên, nó có thể được trình bày khác nhau liên quan đến việc bao gồm một phần chặn tương ứng với mức (hoặc nhóm) đầu tiên của biến nhân tố (hoặc phân loại) trong mô hình hồi quy.

Trong một mô hình cân bằng ( các nhóm có kích thước bằng nhau , ) và chỉ một biến số (để đơn giản hóa việc trình bày ma trận), có thể gặp ma trận mô hình trong ANCOVA như một số biến thể của:n 1 , 2 , $i$$n_{1,2,\cdots\, i}$

$$X=\begin{bmatrix} 1_{n_1} & 0 & 0 & x_{n_1} & 0 & 0\\ 0 & 1_{n_2} & 0 & 0 & x_{n_2} & 0\\ 0 & 0 & 1_{n_3} & 0 & 0 & x_{n_3} \end{bmatrix}$$

cho nhóm biến nhân tố, được biểu thị dưới dạng ma trận khối.$3$

Điều này tương ứng với mô hình tuyến tính:

α i

$$y = \alpha_i + \beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$ với tương đương với nhóm khác nhau có nghĩa là trong ANOVA mô hình, trong khi các khác nhau là các sườn của hiệp phương sai cho mỗi một trong các nhóm.$\alpha_i$$\beta$

Việc trình bày cùng một mô hình trong trường hồi quy, và cụ thể trong R, xem xét một đánh chặn tổng thể, tương ứng với một trong các nhóm và ma trận mô hình có thể được trình bày như sau:

$$X=\begin{bmatrix} \color{red}\vdots & 0 & 0 &\color{red}\vdots & 0 &0 & 0\\ \color{red}{J_{3n,1}} & 1_{n_2} & 0 & \color{red}{x} & 0 & x_{n_2} & 0\\ \color{red}\vdots& 0 & 1_{n_3} & \color{red}\vdots & 0 & 0 & x_{n_3} \end{bmatrix}$$

của phương trình OLS:

$$y =\color{red}{\beta_0} + \mu_i +\beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$ .

Trong mô hình này, phần chặn tổng thể được sửa đổi ở mỗi cấp độ nhóm theo và các nhóm cũng có độ dốc khác nhau.μ $\beta_0$$\mu_i$

Như bạn có thể thấy từ các ma trận mô hình, bài thuyết trình tin vào danh tính thực tế giữa hồi quy và phân tích phương sai.

Tôi thích loại xác minh điều này với một số dòng mã và dữ liệu yêu thích của tôi thiết lập mtcarstrong R . Tôi đang sử dụng lmcho ANCOVA theo giấy của Ben Bolker tại đây .

mtcars$cyl <- as.factor(mtcars$cyl)         # Cylinders variable into factor w 3 levels
D <- mtcars  # The data set will be called D.
D <- D[order(D$cyl, decreasing = FALSE),]   # Ordering obs. for block matrices.

model.matrix(lm(mpg ~ wt * cyl, D))         # This is the model matrix for ANCOVA

Về phần câu hỏi về cách sử dụng phương pháp nào (hồi quy với R!) Bạn có thể thấy thú vị với lời bình luận trực tuyến này mà tôi đã gặp trong khi viết bài đăng này.

Hồi quy ANOVA và OLS giống hệt nhau về mặt toán học trong trường hợp các yếu tố dự đoán của bạn là phân loại (theo các suy luận bạn đang rút ra từ thống kê kiểm tra). Nói cách khác, ANOVA là một trường hợp đặc biệt của hồi quy. Không có gì mà ANOVA có thể cho bạn biết rằng hồi quy không thể tự xuất phát. Tuy nhiên, điều ngược lại là không đúng sự thật. ANOVA không thể được sử dụng để phân tích với các biến liên tục. Như vậy, ANOVA có thể được phân loại là kỹ thuật hạn chế hơn. Hồi quy, tuy nhiên, không phải lúc nào cũng thuận tiện cho các nhà phân tích kém tinh vi. Ví dụ: hầu hết các tập lệnh ANOVA tự động tạo các thuật ngữ tương tác, trong đó với hồi quy, bạn thường phải tự tính toán các thuật ngữ đó bằng phần mềm. Việc sử dụng rộng rãi ANOVA là một phần di tích của phân tích thống kê trước khi sử dụng phần mềm thống kê mạnh hơn, và, theo tôi, một kỹ thuật dễ dàng hơn để dạy cho những sinh viên thiếu kinh nghiệm có mục tiêu là sự hiểu biết ở mức độ tương đối sẽ cho phép họ phân tích dữ liệu với gói thống kê cơ bản. Thỉnh thoảng hãy thử ... Kiểm tra thống kê t rằng một hồi quy cơ bản xuất hiện, bình phương nó, và sau đó so sánh nó với tỷ lệ F từ ANOVA trên cùng một dữ liệu. Đồng nhất!

Theo tôi, lợi ích chính của hồi quy ANOVA ovethe r là ở đầu ra. Nếu bạn quan tâm đến ý nghĩa thống kê của biến phân loại (yếu tố) dưới dạng một khối, thì ANOVA cung cấp thử nghiệm này cho bạn. Với hồi quy, biến phân loại được biểu thị bằng 2 hoặc nhiều biến giả, tùy thuộc vào số lượng danh mục và do đó bạn có 2 hoặc nhiều kiểm tra thống kê, mỗi phép so sánh giá trị trung bình của danh mục cụ thể với giá trị trung bình của danh mục null (hoặc trung bình tổng thể, tùy thuộc vào phương pháp mã hóa giả). Không ai trong số này có thể được quan tâm. Do đó, bạn phải thực hiện phân tích sau ước lượng (về cơ bản là ANOVA) để có được bài kiểm tra tổng thể về yếu tố mà bạn quan tâm.

Ưu điểm chính của hồi quy tuyến tính là mạnh mẽ đối với việc vi phạm tính đồng nhất của phương sai khi kích thước mẫu giữa các nhóm không bằng nhau. Một điều nữa là nó tạo điều kiện cho việc đưa vào một số đồng biến (mặc dù điều này cũng có thể dễ dàng thực hiện thông qua ANCOVA khi bạn quan tâm đến việc chỉ bao gồm một hiệp phương sai). Hồi quy trở nên phổ biến trong những năm bảy mươi trong sự ra đời của những tiến bộ trong sức mạnh tính toán. Bạn cũng có thể thấy hồi quy thuận tiện hơn nếu bạn đặc biệt quan tâm đến việc kiểm tra sự khác biệt giữa các cấp cụ thể của biến phân loại khi có nhiều hơn hai cấp (miễn là bạn thiết lập biến giả trong hồi quy sao cho một trong hai cấp này đại diện cho nhóm tham khảo).