Giải thích đầu ra lm () của R

Các trang trợ giúp trong R giả sử tôi biết những con số đó có nghĩa gì, nhưng tôi thì không. Tôi đang cố gắng để thực sự hiểu trực giác mọi con số ở đây. Tôi sẽ chỉ đăng đầu ra và nhận xét về những gì tôi tìm ra. Có thể (sẽ) có những sai lầm, vì tôi sẽ chỉ viết những gì tôi giả định. Chủ yếu tôi muốn biết giá trị t trong các hệ số có nghĩa là gì và tại sao chúng in lỗi tiêu chuẩn còn lại.

Call:
lm(formula = iris$Sepal.Width ~ iris$Petal.Width)

Residuals:
     Min       1Q   Median       3Q      Max 
-1.09907 -0.23626 -0.01064  0.23345  1.17532 

Đây là tóm tắt 5 điểm của phần dư (giá trị trung bình của chúng luôn là 0, phải không?). Các con số có thể được sử dụng (tôi đoán ở đây) để nhanh chóng xem liệu có bất kỳ ngoại lệ lớn nào không. Ngoài ra, bạn có thể thấy nó ở đây nếu phần dư cách xa phân phối bình thường (chúng nên được phân phối bình thường).

Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
(Intercept)       3.30843    0.06210  53.278  < 2e-16 ***
iris$Petal.Width -0.20936    0.04374  -4.786 4.07e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Ước tính , được tính bằng hồi quy bình phương nhỏ nhất. Ngoài ra, lỗi tiêu chuẩn là . Tôi muốn biết cách tính toán này. Tôi không biết giá trị t và giá trị p tương ứng đến từ đâu. Tôi biết nên được phân phối bình thường, nhưng giá trị t được tính như thế nào?$\hat{\beta_i}$$\sigma_{\beta_i}$$\hat{\beta}$

Residual standard error: 0.407 on 148 degrees of freedom

$\sqrt{ \frac{1}{n-p} \epsilon^T\epsilon }$ , tôi đoán vậy. Nhưng tại sao chúng ta tính toán điều đó, và nó nói gì với chúng ta?

Multiple R-squared: 0.134,  Adjusted R-squared: 0.1282 

$R^2 = \frac{s_\hat{y}^2}{s_y^2}$ , đó là . Tỷ lệ này gần bằng 1 nếu các điểm nằm trên một đường thẳng và 0 nếu chúng là ngẫu nhiên. Bình phương R điều chỉnh là gì?$\frac{\sum_{i=1}^n (\hat{y_i}-\bar{y})^2}{\sum_{i=1}^n (y_i-\bar{y})^2}$

F-statistic: 22.91 on 1 and 148 DF,  p-value: 4.073e-06 

F và p cho toàn bộ mô hình, không chỉ cho các s như trước. Giá trị F là . Càng lớn, nó càng không chắc là 'không có bất kỳ ảnh hưởng nào.$\beta_i$$\frac{s^2_{\hat{y}}}{\sum\epsilon_i}$$\beta$

Tóm tắt năm điểm

vâng, ý tưởng là đưa ra một bản tóm tắt nhanh chóng về phân phối. Nó phải gần như đối xứng về giá trị trung bình, trung vị phải gần bằng 0, các giá trị 1Q và 3Q lý tưởng là các giá trị gần giống nhau.

Hệ số và$\hat{\beta_i}s$

Mỗi hệ số trong mô hình là một biến ngẫu nhiên Gaussian (Bình thường). Các là ước tính giá trị trung bình của phân phối của biến ngẫu nhiên đó, và sai số chuẩn là căn bậc hai của phương sai của phân phối đó. Đây là thước đo độ không chắc chắn trong ước tính của .$\hat{\beta_i}$$\hat{\beta_i}$

Bạn có thể xem cách chúng được tính toán (cũng là các công thức toán học được sử dụng) trên Wikipedia . Lưu ý rằng mọi chương trình thống kê tự tôn trọng sẽ không sử dụng các phương trình toán học tiêu chuẩn để tính toán vì thực hiện chúng trên máy tính có thể dẫn đến mất độ chính xác lớn trong các tính toán.$\hat{\beta_i}$

$t$ -statistic

Số liệu thống kê là các ước tính ( ) chia cho các lỗi tiêu chuẩn của chúng ( ), ví dụ: . Giả sử bạn có cùng một mô hình trong đối tượng như Q:$t$$\hat{\beta_i}$$\hat{\sigma_i}$$t_i = \frac{\hat{\beta_i}}{\hat{\sigma_i}}$mod

> mod <- lm(Sepal.Width ~ Petal.Width, data = iris)

sau đó các giá trị báo cáo R được tính là:$t$

> tstats <- coef(mod) / sqrt(diag(vcov(mod)))
(Intercept) Petal.Width 
  53.277950   -4.786461 

Trong trường hợp coef(mod)là , và cung cấp cho các căn bậc hai của các yếu tố đường chéo của ma trận hiệp phương sai của các thông số mô hình, đó là những sai số chuẩn của các thông số ( ).$\hat{\beta_i}$sqrt(diag(vcov(mod)))$\hat{\sigma_i}$

Giá trị p là xác suất đạt được mộtlớn bằng hoặc lớn hơn giá trị t tuyệt đối quan sát được nếu giả thuyết null ( ) là đúng, trong đó là . Chúng được tính là (sử dụng từ phía trên):$|t|$$H_0$$H_0$$\beta_i = 0$tstats

> 2 * pt(abs(tstats), df = df.residual(mod), lower.tail = FALSE)
 (Intercept)  Petal.Width 
1.835999e-98 4.073229e-06

Vì vậy, chúng tôi tính toán xác suất đuôi trên để đạt được các giá trị mà chúng tôi đã thực hiện từ phân phối với mức độ tự do bằng với mức độ tự do còn lại của mô hình. Điều này thể hiện xác suất đạt được giá trị lớn hơn giá trị tuyệt đối của s được quan sát . Nó được nhân với 2, vì tất nhiên cũng có thể lớn theo hướng tiêu cực.$t$$t$$t$$t$$t$

Lỗi tiêu chuẩn còn lại

Lỗi tiêu chuẩn còn lại là ước tính của tham số . Giả định trong bình phương tối thiểu thông thường là phần dư được mô tả riêng lẻ bằng phân phối Gaussian (bình thường) với giá trị trung bình 0 và độ lệch chuẩn . Các liên quan đến các giả định sai liên tục; mỗi phần dư có cùng phương sai và phương sai đó bằng với .$\sigma$$\sigma$$\sigma$$\sigma^2$

Điều chỉnh$R^2$

Điều chỉnh được tính là:$R^2$

được điều chỉnh giống với , nhưng được điều chỉnh về độ phức tạp (tức là số lượng tham số) của mô hình. Với một mô hình có một tham số duy nhất, với nhất định , nếu chúng ta thêm một tham số khác vào mô hình này, của mô hình mới phải tăng, ngay cả khi tham số được thêm vào không có sức mạnh thống kê. Các tài khoản được điều chỉnh cho điều này bằng cách bao gồm số lượng tham số trong mô hình.$R^2$$R^2$$R^2$$R^2$$R^2$

$F$ -statistic

Các là tỉ số của hai phương sai ( ), phương sai giải thích bằng các thông số trong mô hình (tổng bình phương của hồi quy, SSR) và phương sai dư hoặc không giải thích được (tổng bình phương của lỗi, SSE). Bạn có thể thấy điều này tốt hơn nếu chúng ta lấy bảng ANOVA cho mô hình thông qua :$F$$SSR/SSE$anova()

> anova(mod)
Analysis of Variance Table

Response: Sepal.Width
             Df  Sum Sq Mean Sq F value    Pr(>F)    
Petal.Width   1  3.7945  3.7945   22.91 4.073e-06 ***
Residuals   148 24.5124  0.1656                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Các giống nhau ở đầu ra ANOVA và đầu ra. Các cột chứa hai phương sai và . Chúng ta có thể tính xác suất đạt được một lớn theo giả thuyết không có hiệu lực, từ phân phối với 1 và 148 độ tự do. Đây là những gì được báo cáo trong cột cuối cùng của bảng ANOVA. Trong trường hợp đơn giản của một công cụ dự đoán liên tục, duy nhất (theo ví dụ của bạn), , đó là lý do tại sao các giá trị p giống nhau. Sự tương đương này chỉ giữ trong trường hợp đơn giản này.$F$3,7945 / 0,1656 = 22,91 F F F = t 2 P e t một l . W i d t hsummary(mod)Mean Sq$3.7945 / 0.1656 = 22.91$$F$$F$$F = t_{\mathrm{Petal.Width}}^2$

Ronen Israel và Adrienne Ross (AQR) đã viết một bài báo rất hay về chủ đề này: Đo lường các yếu tố tiếp xúc: Sử dụng và lạm dụng .

Để tóm tắt (xem: trang 8),

• $R^2$
• Khi thống kê t lớn hơn hai, chúng ta có thể nói với độ tin cậy 95% (hoặc 5% khả năng chúng ta sai) rằng ước tính beta khác biệt về mặt thống kê so với không. Nói cách khác, chúng ta có thể nói rằng một danh mục đầu tư có sự tiếp xúc đáng kể với một yếu tố.

lm()Tóm tắt của R tính toán giá trị p Pr(>|t|). Giá trị p càng nhỏ thì hệ số này càng có ý nghĩa. Giá trị P = 0,05 là ngưỡng hợp lý.