Sự khác biệt giữa kiểm tra t và ANOVA trong hồi quy tuyến tính

Tôi tự hỏi sự khác biệt giữa kiểm tra t và ANOVA trong hồi quy tuyến tính là gì?

Là một thử nghiệm t để kiểm tra xem bất kỳ một trong các độ dốc và đánh chặn có nghĩa là không, trong khi ANOVA để kiểm tra xem tất cả các độ dốc có nghĩa là không? Đây có phải là sự khác biệt duy nhất giữa họ?
Trong hồi quy tuyến tính đơn giản, tức là khi chỉ có một biến dự đoán, chỉ có một độ dốc để ước tính. Vì vậy, t-test và ANOVA tương đương, và nếu có, làm thế nào, cho rằng họ đang sử dụng các số liệu thống kê khác nhau (t-test đang sử dụng thống kê t và ANOVA đang sử dụng thống kê F)?

regression anova t-test

— Tim
nguồn

Quảng cáo 1) Trong hồi quy tuyến tính, tôi thường hiểu ANOVA là thước đo mức độ phù hợp của mô hình, nghĩa là quyết định xem mô hình (đường hồi quy) có giải thích một phần đáng kể của tổng biến thiên hay không. Câu hỏi, liệu nó có tương đương với tất cả các độ dốc bằng không, thực sự rất thú vị. Quảng cáo 2) có vẻ như tôi đang nhận được gần như cùng một giá trị p cho kiểm tra t và hồi quy ANOVA trong trường hợp này. Định lý thực sự thú vị!

— Tò mò

Câu trả lời:

Mô hình tuyến tính tổng quát cho phép chúng ta viết mô hình ANOVA dưới dạng mô hình hồi quy. Giả sử chúng ta có hai nhóm với hai quan sát, ví dụ, bốn quan sát trong một vectơ . Sau đó, ban đầu, mô hình overparametrized là , nơi là ma trận các nhân tố ảnh, ví dụ, giả mã các biến chỉ số: $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

Các thông số này không mang tính chất như vì có cấp bậc 2 ( là không khả nghịch). Để thay đổi điều đó, chúng tôi giới thiệu các hạn chế (tương phản điều trị), mang đến cho chúng ta những mô hình mới : $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

Vì vậy, , tức là, mất về ý nghĩa của giá trị kỳ vọng từ loại tài liệu tham khảo của chúng tôi (nhóm 1). , tức là, mất về ý nghĩa của sự khác biệt $\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$ đến hạng mục tài liệu tham khảo. Vì với hai nhóm, chỉ có một tham số liên quan đến hiệu ứng nhóm, giả thuyết ANOVA null (tất cả các tham số hiệu ứng nhóm là 0) giống như giả thuyết null trọng số hồi quy (tham số độ dốc là 0).

$t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

$\beta_{j}$ $1 \leq j$ $\psi$

— caracal
nguồn

Trong 1, ANOVA thường sẽ kiểm tra các biến nhân tố và liệu có hay không giữa phương sai nhóm có đáng kể hay không. Bạn sẽ thấy rõ sự khác biệt nếu phần mềm của bạn cho phép các biến chỉ báo theo hồi quy: với mỗi hình nộm, bạn sẽ nhận được giá trị ap cho biết nhóm này có điểm khác biệt đáng kể so với 0 hay không và do đó, khác biệt đáng kể so với nhóm tham chiếu hoặc giá trị tham chiếu áp dụng . Thông thường, bạn sẽ không thấy mức độ chính của chỉ số là quan trọng cho đến khi bạn thực hiện kiểm tra ANOVA.

Một bài kiểm tra F là một bài kiểm tra bình phương. Do đó, trong 2, nó giống nhau.

— Lao động
nguồn

Cảm ơn! (1) Biến chỉ số có ý nghĩa gì ở đây? (2) Nói chung, kiểm tra t chỉ tương đương với ANOVA khi chỉ có hai nhóm. Nhưng trong hồi quy tuyến tính đơn giản, có thể có nhiều hơn hai nhóm, trong đó số lượng nhóm là số lượng giá trị mà biến dự đoán lấy trong tập dữ liệu.

— Tim

(1) Chỉ số hoặc biến phân loại hoặc yếu tố ... tất cả đều giống nhau. (2) Thật vậy, nhưng bạn có thể muốn biết một tập hợp các hình nộm / danh mục từ ANOVA tốt như thế nào.

— Lao động

Cảm ơn! (2) Vậy trong hồi quy tuyến tính đơn giản, kiểm tra t tương đương với ANOVA như thế nào, với điều kiện là có nhiều hơn hai nhóm? "Một tập hợp các hình nộm / danh mục từ ANOVA" nghĩa là gì và tại sao tôi muốn biết điều đó?

— Tim

Trong hồi quy OLS, R² (phương sai được giải thích) sẽ bằng eta² hoặc MSS / TSS từ ANOVA cho dù bạn có xác định bao nhiêu nhóm. Tiếp theo, bạn có thể muốn biết sự đóng góp của một tập hợp các hình nộm (tức là một biến chỉ báo) để nói liệu chính bộ đó có liên quan hay không và ở mức độ nào, khác với tầm quan trọng của sự khác biệt giữa một danh mục duy nhất với danh mục tham chiếu .

— Lao động