Sự khác biệt giữa phân tích hồi quy và phân tích phương sai?

21

Tôi đang học ngay bây giờ về phân tích hồi quy và phân tích phương sai.

Trong phân tích hồi quy, bạn có một biến cố định và bạn muốn biết biến đó đi với biến khác như thế nào.

Trong phân tích phương sai bạn muốn biết ví dụ: Nếu thức ăn động vật cụ thể này ảnh hưởng đến trọng lượng của động vật ... VÌ một var cố định và ảnh hưởng đến những cái khác ...

Điều đó đúng hay sai, xin hãy giúp tôi ...

regression

— Lê Max
nguồn

25

Giả sử tập dữ liệu của bạn bao gồm một tập hợp $(x_i,y_i)$ cho $i=1,\ldots,n$ và bạn muốn xem xét sự phụ thuộc của $y$ vào $x$ .

Giả sử bạn tìm thấy những giá trị và của và giảm thiểu số tiền còn lại của hình vuông Sau đó, bạn lấy được dự đoán -giá trị cho bất kỳ (không nhất thiết đã quan sát) giá trị. Đó là hồi quy tuyến tính. $\hat\alpha$ $\hat\beta$ $\alpha$ $\beta$

\sum_{i = 1}^{n} (y_{i} - (α + β x_{i}))^{2} .

$\sum_{i=1}^n (y_i - (\alpha+\beta x_i))^2.$

\hat{y} = \hat{α} + \hat{β} x

$\hat y = \hat\alpha+ \hat\beta x$

y

$y$

x

$x$

Bây giờ hãy xem xét phân tách tổng số bình phương vớibậc tự do, vào "giải thích" và các bộ phận "không giải thích được": với

\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2} where \bar{y} = \frac{y_{1} + \dots + y_{n}}{n}

$\sum_{i=1}^n (y_i - \bar y)^2 \qquad\text{where }\bar y = \frac{y_1+\cdots+y_n}{n}$

n - 1

$n-1$

\underset{explained}{\underset{⏟}{\sum_{i = 1}^{n} ((\hat{α} + \hat{β} x_{i}) - \bar{y})^{2}}} + \underset{unexplained}{\underset{⏟}{\sum_{i = 1}^{n} (y_{i} - (\hat{α} + \hat{β} x_{i}))^{2}}} .

$\underbrace{\sum_{i=1}^n ((\hat\alpha+\hat\beta x_i) - \bar y)^2}_{\text{explained}}\ +\ \underbrace{\sum_{i=1}^n (y_i - (\hat\alpha+\hat\beta x_i))^2}_{\text{unexplained}}.$

1

$1$ và

độ tự do, tương ứng. Đó là phân tích phương sai, và một sau đó xem xét những thứ như F-thống kê

n - 2

$n-2$

ĐâyF-statistic kiểm tra giả thuyết

.

F = \frac{\sum_{i = 1}^{n} ((\hat{α} + \hat{β} x_{i}) - \bar{y})^{2} / 1}{\sum_{i = 1}^{n} (y_{i} - (\hat{α} + \hat{β} x_{i}))^{2} / (n - 2)} .

$F = \frac{\sum_{i=1}^n ((\hat\alpha+\hat\beta x_i) - \bar y)^2/1}{\sum_{i=1}^n (y_i - (\hat\alpha+\hat\beta x_i))^2/(n-2)}.$

β = 0

$\beta=0$

y = α + β_{i}

$y = \alpha + \beta_i$

i

$i$

k

$k$

k - 1

$k-1$

n - k

$n-k$

Một vài điểm bổ sung:

Đối với một số nhà toán học, tài khoản ở trên có thể cho thấy toàn bộ lĩnh vực chỉ là những gì nhìn thấy ở trên, do đó có vẻ bí ẩn khi cả hồi quy và phân tích phương sai đều là lĩnh vực nghiên cứu tích cực. Có nhiều điều không phù hợp với câu trả lời thích hợp để đăng ở đây.
$y=\alpha+\beta x$

— Michael Hardy
nguồn

5

@MichaelHardy Trong khi phân rã phương sai thành các thành phần trong hồi quy thường được gọi là phân tích bảng phương sai. Đó không phải là những gì các nhà thống kê thường có nghĩa là ANOVA. Các phương pháp 1) hồi quy tuyến tính, 2) phân tích phương sai và 3) phân tích hiệp phương sai là các thể loại theo tiêu đề chung của mô hình tuyến tính chung, hồi quy tuyến tính bao gồm các hiệp phương sai liên tục, ANOVA chỉ bao gồm các nhóm rời rạc và ANCOVA là sự kết hợp của các hiệp phương sai liên tục và các nhóm rời rạc.

— Michael R. Chernick

1

Một cách không chính thức đôi khi người ta nói theo cách đó, và câu trả lời của tôi đã không nói điều đó, nhưng người ta nên biết rằng (1) ước lượng hệ số bình phương nhỏ nhất được thực hiện trong một trong hai vấn đề (dự đoán liên tục hoặc phân loại) và phân tích tổng hình vuông với mức độ tự do tương ứng của chúng --- một bảng anova --- cũng được thực hiện trong một trong hai vấn đề.

— Michael Hardy

5

Với sự nhượng bộ đó thì bạn phải thừa nhận rằng không có gì sai với câu trả lời của tôi. Ngoài ra các thuật ngữ ANOVA, ANCOVA và hồi quy không phải là thuật ngữ không chính thức. Chúng rất trang trọng và không chính xác khi nói với OP rằng ANOVA là sự phân rã của phương sai trong hồi quy. Thực tế là một quy trình thống kê mà ai đó có tên anova có thể thực hiện bất kỳ mô hình tuyến tính nào không chứng minh được điều gì. Trong SAS Proc reg chỉ xử lý hồi quy, Proc anova chỉ xử lý phân tích phương sai như tôi đã định nghĩa và Proc glm là một trong đó thực hiện cả hai.

— Michael R. Chernick

1

.... và trong R, "lm (....)" đưa ra các hệ số hồi quy trong cả hai tình huống và "anova (lm (....))" cho phép phân tích tổng bình phương và bậc tự do, trong cả hai tình huống. Theo như "phải thừa nhận", tôi đã đặt thêm một số nhận xét bên dưới câu trả lời của bạn. Chắc chắn nếu bạn sẽ đề cập đến hồi quy logistic, sẽ rõ ràng hơn nếu bạn nói rằng ngay khi bạn không nói về hồi quy tuyến tính, từ "hồi quy" là một thuật ngữ rất rộng có thể bao gồm nhiều điều.

— Michael Hardy

@MichaelHardy Hãy bình luận về câu hỏi của tôi được nêu trên trang thống kê.SE. Tôi nghĩ rằng câu trả lời của bạn và câu trả lời của tôi cho câu hỏi này đều đúng theo một cách. Tôi chắc chắn phản đối câu trả lời của tôi bị hạ cấp. Tôi muốn lấy ý kiến của những người khác trong cộng đồng thống kê về điều này.

— Michael R. Chernick

5

Sự khác biệt chính là biến phản ứng. Trong khi hồi quy logistic xử lý một phản ứng nhị phân trong phân tích hồi quy tuyến tính và hồi quy phi tuyến, biến phản hồi là liên tục. Bạn có một biến (hay còn gọi là covariate (s)) có mối quan hệ chức năng với biến phản ứng liên tục. Trong phân tích phương sai, phản ứng là liên tục nhưng thuộc về một vài loại khác nhau (ví dụ nhóm điều trị và nhóm đối chứng). Trong phân tích phương sai, bạn tìm kiếm sự khác biệt trong đáp ứng trung bình giữa các nhóm. Trong hồi quy tuyến tính, bạn xem xét phản ứng thay đổi như thế nào khi hiệp phương sai thay đổi. Một cách khác để xem xét sự khác biệt là nói rằng trong hồi quy, các hiệp phương sai là liên tục trong khi trong phân tích phương sai, chúng là một nhóm các nhóm riêng biệt.

— Michael R. Chernick
nguồn

6

Tôi đã đặt câu hỏi có nghĩa là sự khác biệt giữa hồi quy tuyến tính và phân tích phương sai; đưa vào hồi quy logistic dường như thoát khỏi chủ đề. Tuy nhiên, câu cuối cùng của bạn là sai. Phân tích phương sai có thể được thực hiện bất kể các yếu tố dự đoán là rời rạc hay liên tục.

— Michael Hardy

1

Có những dự đoán thực sự trong phân tích phương sai. Trong ví dụ của bạn, công cụ dự đoán là phân loại, nhưng nó không cần phải như vậy. Phân tích phương sai không chỉ xem xét các vấn đề liên quan đến "các nhóm rời rạc".

— Michael Hardy

3

@MichaelHardy Tôi đang lùi một bước vì khi tôi kiểm tra bách khoa toàn thư thống kê của mình, tôi thấy tham chiếu đến phân tích phương sai về sự phân rã phương sai trong mô hình tuyến tính nói chung. Nhưng thuật ngữ này có hai ý nghĩa và khá thường xuyên ANOVA được phân biệt với ANCOVA và hồi quy theo cách tôi mô tả. Vì vậy, OP cần lưu ý cả hai thuật ngữ liên quan đến suy luận về các thành phần phương sai trong mô hình tuyến tính chung và nhóm liên quan đến lớp con của các mô hình tuyến tính chỉ liên quan đến các nhóm rời rạc.

— Michael R. Chernick

2

Tôi nghĩ về việc sử dụng bạn đang sử dụng là không chính thức. Nó có vẻ lạ kể đến hồi quy logistic mà không nói nó chỉ là một trong một loạt các "hồi quy", khi cụm từ đó được sử dụng theo nghĩa rộng của việc ước tính giá trị trung bình hoặc dự đoán của một biến cho nhau, và sau đó phân biệt mà từ phân tích phương sai . Nhưng câu hỏi về sự khác biệt giữa mô hình hồi quy tuyến tính và phân tích phương sai có vẻ như là một câu hỏi hợp lý hơn. Nhưng thường không chắc chắn về những gì các poster ban đầu dự định.

— Michael Hardy

7

Dù ý định của bạn là gì đi nữa, tôi thấy bình luận " Tôi có bằng tiến sĩ về thống kê, ... " là không phù hợp. Trước hết, không có gì để giải quyết vấn đề trong tay. Khiếu nại với chính quyền là một cách tiếp cận được sử dụng, nhưng rất sai lầm để chứng minh mọi thứ. Kháng cáo lên chính quyền của bạn thậm chí còn có vấn đề hơn. Nó cũng có thể được hiểu là thể hiện (vô tình hay nói cách khác) sự thiếu tôn trọng đối với @MichaelHardy (cá nhân bạn đang giải quyết), người cũng có bằng tiến sĩ về thống kê từ một chương trình rất có uy tín.

— Đức hồng y

2

Phân tích phương sai (ANOVA) là một cơ thể của phương pháp thống kê phân tích các quan sát được giả định là của cấu trúc

$y_i=\beta_1x_{i1}+\beta_2x_{i2}+\dots+\beta_px_{ip}+e_i,~i=1(1)n$ $p$ $\beta_1,\beta_2,\dots,\beta_p$ $e_1,e_2,\dots,e_n$ $x_{ij}$ $e_i$ $0$ $\sigma^2$

$E(y^{n \times 1})=X\beta,D(y)=\sigma^2I_n$

$x_{ij}$ $\beta_j$ $x_{ij}$ $\beta_j$ $0$ $1$

$x_{ij}$ $t$ $T$ $t^2,e^{-T}$

Chủ yếu, hai là hai loại Phân tích.

— Argha
nguồn

i = 1 (1) n

$i=1(1)n$

1

i = 1 (1) n

$i=1(1)n$

i = 1, 2, \dots, n

$i=1,2,\dots,n$

-1

Trong phân tích hồi quy, bạn có một biến cố định và bạn muốn biết biến đó đi với biến khác như thế nào.

Trong phân tích phương sai bạn muốn biết ví dụ: Nếu thức ăn động vật cụ thể này ảnh hưởng đến trọng lượng của động vật ... VÌ một var cố định và ảnh hưởng đến những cái khác.

— Aiza
nguồn

1

Xin chào Aiza, chào mừng bạn đến với SE. Bạn cần chỉnh sửa điều này để cung cấp thêm ngữ cảnh và làm cho nó rõ ràng câu hỏi thực sự là gì.

— Dừng câu hỏi kết thúc nhanh