Làm cách nào để tính toán xem hồi quy tuyến tính của tôi có sự khác biệt có ý nghĩa thống kê so với dòng lý thuyết đã biết không?

Tôi có một số dữ liệu phù hợp với một đường thẳng gần đúng:

Khi tôi thực hiện hồi quy tuyến tính của các giá trị này, tôi nhận được một phương trình tuyến tính:

Trong một thế giới lý tưởng, phương trình nên là$y = x$ .

Rõ ràng, giá trị tuyến tính của tôi là gần với lý tưởng đó, nhưng không chính xác. Câu hỏi của tôi là, làm thế nào tôi có thể xác định liệu kết quả này có ý nghĩa thống kê?

Giá trị của 0,997 có khác biệt đáng kể so với 1 không? -0,01 có khác biệt đáng kể so với 0 không? Hoặc chúng giống nhau về mặt thống kê và tôi có thể kết luận rằng$y=x$ với mức độ tin cậy hợp lý?

Một bài kiểm tra thống kê tốt tôi có thể sử dụng là gì?

Cảm ơn

Loại tình huống này có thể được xử lý bằng thử nghiệm F tiêu chuẩn cho các mô hình lồng nhau . Vì bạn muốn kiểm tra cả hai tham số theo mô hình null với các tham số cố định, nên các giả thuyết của bạn là:

Thử nghiệm F liên quan đến việc khớp cả hai mô hình và so sánh tổng bình phương còn lại của chúng, đó là:

Thống kê kiểm tra là:

Giá trị p tương ứng là:

Triển khai trong R: Giả sử dữ liệu của bạn nằm trong khung dữ liệu được gọi DATAvới các biến được gọi yvà x. Thử nghiệm F có thể được thực hiện thủ công với mã sau đây. Trong dữ liệu giả lập mà tôi đã sử dụng, bạn có thể thấy rằng các hệ số ước tính gần với các hệ số trong giả thuyết null và giá trị p của thử nghiệm cho thấy không có bằng chứng quan trọng nào làm sai lệch giả thuyết null rằng hàm hồi quy thực là chức năng nhận dạng.

#Generate mock data (you can substitute your data if you prefer)
set.seed(12345);
n    <- 1000;
x    <- rnorm(n, mean = 0, sd = 5);
e    <- rnorm(n, mean = 0, sd = 2/sqrt(1+abs(x)));
y    <- x + e;
DATA <- data.frame(y = y, x = x);

#Fit initial regression model
MODEL <- lm(y ~ x, data = DATA);

#Calculate test statistic
SSE0   <- sum((DATA$y-DATA$x)^2);
SSEA   <- sum(MODEL$residuals^2);
F_STAT <- ((n-2)/2)*((SSE0 - SSEA)/SSEA);
P_VAL  <- pf(q = F_STAT, df1 = 2, df2 = n-2, lower.tail = FALSE);

#Plot the data and show test outcome
plot(DATA$x, DATA$y,
     main = 'All Residuals',
     sub  = paste0('(Test against identity function - F-Stat = ',
            sprintf("%.4f", F_STAT), ', p-value = ', sprintf("%.4f", P_VAL), ')'),
     xlab = 'Dataset #1 Normalized residuals',
     ylab = 'Dataset #2 Normalized residuals');
abline(lm(y ~ x, DATA), col = 'red', lty = 2, lwd = 2);

Đầu summaryra và plotcho dữ liệu này trông như thế này:

summary(MODEL);

Call:
lm(formula = y ~ x, data = DATA)

Residuals:
    Min      1Q  Median      3Q     Max 
-4.8276 -0.6742  0.0043  0.6703  5.1462 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.02784    0.03552  -0.784    0.433    
x            1.00507    0.00711 141.370   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.122 on 998 degrees of freedom
Multiple R-squared:  0.9524,    Adjusted R-squared:  0.9524 
F-statistic: 1.999e+04 on 1 and 998 DF,  p-value: < 2.2e-16

F_STAT;
[1] 0.5370824

P_VAL;
[1] 0.5846198

Đây là một phương pháp đồ họa thú vị mà tôi đã đưa ra từ cuốn sách tuyệt vời "Mô hình tuyến tính với R (Ấn bản thứ hai)" của Julian Faraway. Đó là khoảng tin cậy 95% đồng thời cho phần chặn và độ dốc, được vẽ dưới dạng hình elip.

Để minh họa, tôi đã tạo ra 500 quan sát với một biến "x" có phân phối N (mean = 10, sd = 5) và sau đó một biến "y" có phân phối là N (mean = x, sd = 2). Điều đó mang lại một mối tương quan hơn 0,9 mà có thể không hoàn toàn chặt chẽ như dữ liệu của bạn.

Bạn có thể kiểm tra hình elip để xem điểm (chặn = 0, độ dốc = 1) có nằm trong hoặc ngoài khoảng tin cậy đồng thời đó không.

library(tidyverse)
library(ellipse)
#> 
#> Attaching package: 'ellipse'
#> The following object is masked from 'package:graphics':
#> 
#>     pairs

set.seed(50)
dat <- data.frame(x=rnorm(500,10,5)) %>% mutate(y=rnorm(n(),x,2))

lmod1 <- lm(y~x,data=dat)
summary(lmod1)
#> 
#> Call:
#> lm(formula = y ~ x, data = dat)
#> 
#> Residuals:
#>     Min      1Q  Median      3Q     Max 
#> -6.9652 -1.1796 -0.0576  1.2802  6.0212 
#> 
#> Coefficients:
#>             Estimate Std. Error t value Pr(>|t|)    
#> (Intercept)  0.24171    0.20074   1.204    0.229    
#> x            0.97753    0.01802  54.246   <2e-16 ***
#> ---
#> Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
#> 
#> Residual standard error: 2.057 on 498 degrees of freedom
#> Multiple R-squared:  0.8553, Adjusted R-squared:  0.855 
#> F-statistic:  2943 on 1 and 498 DF,  p-value: < 2.2e-16

cor(dat$y,dat$x)
#> [1] 0.9248032

plot(y~x,dat)
abline(0,1)

confint(lmod1)
#>                  2.5 %    97.5 %
#> (Intercept) -0.1526848 0.6361047
#> x            0.9421270 1.0129370

plot(ellipse(lmod1,c("(Intercept)","x")),type="l")
points(coef(lmod1)["(Intercept)"],coef(lmod1)["x"],pch=19)

abline(v=confint(lmod1)["(Intercept)",],lty=2)
abline(h=confint(lmod1)["x",],lty=2)

points(0,1,pch=1,size=3)
#> Warning in plot.xy(xy.coords(x, y), type = type, ...): "size" is not a
#> graphical parameter

abline(v=0,lty=10)
abline(h=0,lty=10)

^{Được tạo vào ngày 2019-01-21 bởi gói reprex (v0.2.1)}

Bạn có thể tính toán các hệ số với n mẫu khởi động. Điều này có thể sẽ dẫn đến các giá trị hệ số phân phối bình thường (Định lý giới hạn trung tâm). Với điều đó, sau đó bạn có thể xây dựng khoảng tin cậy (ví dụ 95%) với các giá trị t (n-1 độ tự do) xung quanh giá trị trung bình. Nếu CI của bạn không bao gồm 1 (0), thì nó có ý nghĩa thống kê khác nhau hoặc chính xác hơn: Bạn có thể từ chối giả thuyết khống về độ dốc bằng nhau.

$\beta_0=0$$\beta_1=1$

Bạn nên điều chỉnh hồi quy tuyến tính và kiểm tra khoảng tin cậy 95% cho hai tham số. Nếu CI của độ dốc bao gồm 1 và CI của phần bù bao gồm 0 thì phép thử hai mặt là không đáng kể. ở mức (95%) ^ 2 - khi chúng tôi sử dụng hai bài kiểm tra riêng biệt, rủi ro typ-I tăng lên.

Sử dụng R:

fit = lm(Y ~ X)
confint(fit)

hoặc bạn sử dụng

summary(fit)

và calc 2 khoảng sigma một mình.