Hiểu t-test cho hồi quy tuyến tính

Tôi đang cố gắng tìm ra cách thực hiện một số thử nghiệm giả thuyết trên hồi quy tuyến tính (giả thuyết null không có tương quan). Mọi hướng dẫn và trang về chủ đề tôi chạy vào dường như đang sử dụng bài kiểm tra t. Nhưng tôi không hiểu kiểm tra t cho hồi quy tuyến tính thực sự có nghĩa là gì. Một bài kiểm tra t, trừ khi tôi có một sự hiểu biết hoàn toàn sai hoặc mô hình tinh thần, được sử dụng để so sánh hai quần thể. Nhưng biến hồi quy và biến hồi quy không phải là mẫu của các quần thể tương tự và thậm chí có thể không cùng một đơn vị, vì vậy không có nghĩa gì khi so sánh chúng.

Vì vậy, khi sử dụng kiểm tra t trên hồi quy tuyến tính, chúng ta thực sự đang làm gì?

Có lẽ bạn đang nghĩ đến thử nghiệm hai mẫu $t$ vì đó thường là nơi đầu tiên phân phối $t$ xuất hiện. Nhưng thực sự tất cả một thử nghiệm $t$ có nghĩa là phân phối tham chiếu cho thống kê kiểm tra là phân phối $t$ . Nếu $Z \sim \mathcal N(0,1)$ và $S^2 \sim \chi^2_d$ với $Z$ và $S^2$ độc lập, sau đó

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ theo định nghĩa. Tôi viết thư này để nhấn mạnh rằngphân phối$t$chỉ là một tên được đặt cho phân phối tỷ lệ này vì nó xuất hiện rất nhiều và bất cứ thứ gì thuộc dạng này sẽ cóphân phối$t$. Đối với thử nghiệm t hai mẫu, tỷ lệ này xuất hiện vì theo null sự khác biệt trong phương tiện là một Gaussian zero-mean và dự toán không đúng cho Gaussian độc lập là một độc lập$\chi^2$(tính độc lập có thể được hiển thị thông quađịnh lý Basu của trong đó sử dụng thực tế là ước tính phương sai chuẩn trong mẫu Gaussian là phụ trợ cho trung bình dân số, trong khi giá trị trung bình mẫu là đầy đủ và đủ cho cùng một đại lượng đó).

Với hồi quy tuyến tính, về cơ bản chúng ta có được điều tương tự. Ở dạng $\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$ . Đặt $S^2_j = (X^T X)^{-1}_{jj}$ và giả sử các yếu tố dự đoán $X$ là không ngẫu nhiên. Nếu chúng ta biết $\sigma^2$ chúng tôi có β j - 0

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ dưới null$H_0 : \beta_j = 0$vì vậy chúng tôi thực sự có một bài kiểm tra Z. Nhưng một khi chúng tôi ước tính$\sigma^2$chúng tôi kết thúc với một$\chi^2$biến ngẫu nhiên đó, theo các giả định bình thường của chúng tôi, hóa ra là không phụ thuộc vào số liệu thống kê của chúng tôi β jvà sau đó chúng ta có được mộttphân phối.$\hat \beta_j$$t$

---

Dưới đây là các chi tiết về điều đó: giả $y \sim \mathcal N(X\beta, \sigma^2 I)$ . Cho $H = X(X^TX)^{-1}X^T$ là ma trận mũ chúng tôi có

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$ là idempotent vì vậy chúng tôi có kết quả thực sự tốt đẹp rằng $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ với phi trung tâm thông số$\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$ , vì vậy trên thực tế đây là một trung tâm$\chi^2$ với$n-p$ bậc tự do (đây là trường hợp đặc biệt của định lý của Burran ). Tôi đang sử dụng $p$ để biểu thị số lượng cột của $X$ , vì vậy nếu một cột của $X$ đưa ra đánh chặn thì chúng ta sẽ có $p-1$ dự đoán không chặn. Một số tác giả sử dụng $p$ là số lượng dự đoán không chặn, vì vậy đôi khi bạn có thể thấy một cái gì đó giống như $n-p-1$ ở mức độ tự do ở đó, nhưng tất cả đều giống nhau.

Kết quả của việc này là , vì vậy σ 2 : = $E(e^Te / \sigma^2) = n-p$hoạt động tuyệt vời như một công cụ ước tínhσ2.$\hat \sigma^2 := \frac{1}{n-p} e^T e$$\sigma^2$

Điều này có nghĩa rằng β j là tỷ lệ của một Gaussian tiêu chuẩn so với bình phương chia cho mức độ tự do của nó. Để hoàn thành điều này, chúng ta cần thể hiện sự độc lập và chúng ta có thể sử dụng kết quả sau:

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$

Kết quả: cho và ma trận A và B trong R l × k và R m × k tương ứng, Một Z và B Z là độc lập khi và chỉ khi A Σ B T = 0 (đây là tập thể dục 58 (b) trong chương 1 của Thống kê toán học của Jun Shao ).$Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$$\mathbb R^{m\times k}$$AZ$$BZ$$A\Sigma B^T = 0$

Chúng tôi có β = ( X T X ) - 1 X T y và e = ( I - H ) y nơi y ~ N ( X β , σ 2 tôi ) . Điều này có nghĩa ( X T X ) - 1 X T ⋅ σ 2 Tôi ⋅ ( I - H ) T = σ 2$\hat \beta = (X^TX)^{-1}X^T y$$e = (I-H)y$$y \sim \mathcal N(X\beta, \sigma^2 I)$ nên beta ⊥e, và do đó beta ⊥ e T e.

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ $\hat \beta \perp e$$\hat \beta \perp e^T e$

Kết quả cuối cùng là bây giờ chúng ta biết β j như mong muốn (dưới tất cả các giả định ở trên).

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$

---

Đây là bằng chứng của kết quả đó. Đặt là(l+m)×kma trận hình thành bằng cách chồngAtrên đầu trang củaB. Khi đó CZ= ( A$C = {A \choose B}$$(l+m)\times k$$A$$B$ trong đó CΣCT=(

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ CZlà một Gaussian đa biến và một kết quả nổi tiếng là hai thành phần của Gaussian đa biến là độc lập khi và chỉ khi chúng không tương thích, do đó điều kiệnAΣBT=0hóa ra tương đương chính xác với các thành phầnAZvàB $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$$A\Sigma B^T = 0$$AZ$$BZ$trong không tương quan.$CZ$

$\square$

Câu trả lời của @ Chaconne là tuyệt vời. Nhưng đây là một phiên bản phi toán học ngắn hơn nhiều!

Vì mục tiêu là tính toán giá trị P, trước tiên bạn cần xác định giả thuyết null. Hầu như luôn luôn, đó là độ dốc thực sự nằm ngang nên giá trị bằng số cho độ dốc (beta) là 0,0.

Độ dốc phù hợp với dữ liệu của bạn không phải là 0,0. Là sự khác biệt đó là do cơ hội ngẫu nhiên hay do giả thuyết khống là sai? Bạn không bao giờ có thể trả lời điều đó một cách chắc chắn, nhưng giá trị P là một cách để sắp xếp câu trả lời.

Chương trình hồi quy báo cáo một lỗi tiêu chuẩn của độ dốc. Tính tỷ số t là độ dốc chia cho sai số chuẩn của nó. Trên thực tế, nó là (độ dốc trừ độ dốc giả thuyết null) chia cho sai số chuẩn, nhưng độ dốc giả thuyết null gần như luôn luôn bằng không.

Bây giờ bạn có tỷ lệ. Số bậc tự do (df) bằng số điểm dữ liệu trừ đi số lượng tham số phù hợp với hồi quy (hai cho hồi quy tuyến tính).

Với các giá trị đó (t và df), bạn có thể xác định giá trị P bằng máy tính hoặc bảng trực tuyến.

Đây thực chất là một thử nghiệm t một mẫu, so sánh giá trị tính toán quan sát được (độ dốc) với giá trị giả thuyết (giả thuyết null).