Sự khác biệt giữa các giả định làm cơ sở cho mối tương quan và phép thử độ dốc hồi quy có ý nghĩa

Câu hỏi của tôi nảy sinh từ một cuộc thảo luận với @whuber trong các bình luận của một câu hỏi khác .

Cụ thể, nhận xét của @whuber như sau:

Một lý do có thể làm bạn ngạc nhiên là các giả định trong thử nghiệm tương quan và thử nghiệm độ dốc hồi quy là khác nhau - vì vậy ngay cả khi chúng ta hiểu rằng mối tương quan và độ dốc thực sự đo lường cùng một thứ, tại sao giá trị p của chúng phải giống nhau? Điều đó cho thấy những vấn đề này đi sâu hơn đơn giản là liệu và có nên bằng nhau về số hay không.$r$$\beta$

Điều này khiến tôi suy nghĩ về nó và tôi đã bắt gặp rất nhiều câu trả lời thú vị. Ví dụ: tôi đã tìm thấy câu hỏi này " Giả định về hệ số tương quan " nhưng không thể thấy điều này sẽ làm rõ nhận xét ở trên như thế nào.

Tôi đã tìm thấy nhiều câu trả lời thú vị hơn về mối quan hệ của Pearson và độ dốc trong một hồi quy tuyến tính đơn giản ( ví dụ ở đây và ở đây ) nhưng không ai trong số họ dường như trả lời những gì @whuber đang đề cập trong bình luận của mình (ít nhất là không rõ ràng với tôi).$r$$\beta$

Câu 1: Các giả định làm cơ sở cho kiểm tra tương quan và kiểm tra độ dốc hồi quy là gì?

Đối với câu hỏi thứ 2 của tôi, hãy xem xét các kết quả đầu ra sau R:

model <- lm(Employed ~ Population, data = longley)
summary(model)

Call:
lm(formula = Employed ~ Population, data = longley)

Residuals:
    Min      1Q  Median      3Q     Max 
-1.4362 -0.9740  0.2021  0.5531  1.9048 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8.3807     4.4224   1.895   0.0789 .  
Population    0.4849     0.0376  12.896 3.69e-09 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.013 on 14 degrees of freedom
Multiple R-squared:  0.9224,    Adjusted R-squared:  0.9168 
F-statistic: 166.3 on 1 and 14 DF,  p-value: 3.693e-09

Và đầu ra của cor.test()hàm:

with(longley, cor.test(Population, Employed))

    Pearson's product-moment correlation

data:  Population and Employed
t = 12.8956, df = 14, p-value = 3.693e-09
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
 0.8869236 0.9864676
sample estimates:
      cor 
0.9603906 

Như có thể thấy bởi đầu ra lm()và cov.test()đầu ra, hệ số tương quan của Pearson và ước tính độ dốc ( ) phần lớn khác nhau, tương ứng là 0,96 so với 0,485, nhưng giá trị t và giá trị p là như nhau.$r$$\beta_1$

Sau đó, tôi cũng đã thử xem liệu tôi có thể tính giá trị t cho và , mặc dù và khác nhau. Và đó là nơi tôi bị mắc kẹt, ít nhất là cho :$r$$\beta_1$$r$$\beta_1$$r$

Tính độ dốc ( ) trong hồi quy tuyến tính đơn giản bằng tổng tổng bình phương của và :$\beta_1$$x$$y$

x <- longley$Population; y <- longley$Employed
xbar <- mean(x); ybar <- mean(y)
ss.x <- sum((x-xbar)^2)
ss.y <- sum((y-ybar)^2)
ss.xy <- sum((x-xbar)*(y-ybar))

Tính toán ước lượng bình phương nhỏ nhất của độ dốc hồi quy, (có bằng chứng về điều này trong ấn bản R Book 1 của Crawley , trang 393):$\beta_{1}$

b1 <- ss.xy/ss.x                        
b1
# [1] 0.4848781

Tính sai số chuẩn cho :$\beta_1$

ss.residual <- sum((y-model$fitted)^2)
n <- length(x) # SAMPLE SIZE
k <- length(model$coef) # NUMBER OF MODEL PARAMETER (i.e. b0 and b1)
df.residual <- n-k
ms.residual <- ss.residual/df.residual # RESIDUAL MEAN SQUARE
se.b1 <- sqrt(ms.residual/ss.x)
se.b1
# [1] 0.03760029

Và t-giá trị và giá trị p cho :$\beta_1$

t.b1 <- b1/se.b1
p.b1 <- 2*pt(-abs(t.b1), df=n-2)
t.b1
# [1] 12.89559
p.b1
# [1] 3.693245e-09

Điều tôi không biết vào thời điểm này, và đây là Câu hỏi 2 , là, làm thế nào để tính cùng một giá trị t bằng cách sử dụng thay vì β 1 (có lẽ trong các bước bé)?$r$$\beta_1$

Tôi giả sử rằng cor.test()giả thuyết thay thế là liệu tương quan thực sự không bằng 0 (xem cor.test()đầu ra ở trên), tôi sẽ mong đợi một cái gì đó giống như hệ số tương quan Pearson chia cho "lỗi tiêu chuẩn của hệ số tương quan Pearson" (tương tự như ở trên)?! Nhưng lỗi tiêu chuẩn đó sẽ là gì và tại sao?$r$b1/se.b1

Có lẽ điều này có liên quan đến các giả định đã nói ở trên về một bài kiểm tra tương quan và bài kiểm tra độ dốc hồi quy ?!

EDIT (27-tháng 7-2017): Trong khi @whuber cung cấp một lời giải thích rất chi tiết cho Câu hỏi 1 (và một phần Câu hỏi 2 , xem các bình luận dưới câu trả lời của anh ấy), tôi đã đào sâu thêm và thấy rằng hai bài đăng này ( ở đây và ở đây ) hiển thị một lỗi tiêu chuẩn cụ thể cho , hoạt động tốt để trả lời Câu hỏi 2 , nghĩa là tái tạo giá trị t đã cho r :$r$$r$

r <- 0.9603906
# n <- 16
r.se <- sqrt((1-r^2)/(n-2))
r/r.se
# [1] 12.8956

Giới thiệu

Câu trả lời này giải quyết động lực cơ bản cho bộ câu hỏi này:

Các giả định làm cơ sở cho một bài kiểm tra tương quan và bài kiểm tra độ dốc hồi quy là gì?

Tuy nhiên, trong bối cảnh được cung cấp trong câu hỏi, tôi muốn đề nghị mở rộng câu hỏi này một chút: chúng ta hãy khám phá các mục đích và quan niệm khác nhau về tương quan và hồi quy.

Tương quan thường được gọi trong các tình huống trong đó

• Dữ liệu là hai biến số: chính xác hai giá trị quan tâm riêng biệt được liên kết với từng "đối tượng" hoặc "quan sát".

• Dữ liệu là quan sát: không có giá trị nào được đặt bởi người thử nghiệm. Cả hai đều được quan sát hoặc đo lường.

• Sự quan tâm nằm ở việc xác định, định lượng và kiểm tra một số loại mối quan hệ giữa các biến.

Hồi quy được sử dụng ở đâu

• Dữ liệu là bivariate hoặc multivariate: có thể có nhiều hơn hai giá trị quan tâm riêng biệt.

• Sở thích tập trung vào việc hiểu những gì có thể nói về một tập hợp con của các biến - biến "phụ thuộc" hoặc "phản hồi" - dựa trên những gì có thể được biết về tập hợp con khác - biến "độc lập" hoặc "biến hồi quy".

• Giá trị cụ thể của các biến hồi quy có thể đã được thiết lập bởi người thí nghiệm.

Những mục tiêu và tình huống khác nhau dẫn đến cách tiếp cận khác biệt. Bởi vì chủ đề này quan tâm đến sự tương đồng của chúng, chúng ta hãy tập trung vào trường hợp chúng giống nhau nhất: dữ liệu hai biến. Trong cả hai trường hợp, những dữ liệu đó thường sẽ được mô hình hóa dưới dạng thực hiện một biến ngẫu nhiên . Nhìn chung, cả hai hình thức phân tích đều tìm kiếm các đặc tính tương đối đơn giản của biến này.$(X,Y)$

Tương quan

Tôi tin rằng "phân tích tương quan" chưa bao giờ được định nghĩa chung. Có nên giới hạn ở các hệ số tương quan điện toán, hoặc có thể xem xét rộng rãi hơn như bao gồm PCA, phân tích cụm và các hình thức phân tích khác liên quan đến hai biến không? Cho dù quan điểm của bạn bị thu hẹp hay rộng, có lẽ bạn sẽ đồng ý rằng mô tả sau đây được áp dụng:

Tương quan là một phân tích đưa ra các giả định về phân phối , không có đặc quyền hoặc sử dụng dữ liệu để đưa ra kết luận cụ thể hơn về phân phối đó.$(X,Y)$

Chẳng hạn, bạn có thể bắt đầu bằng cách giả sử có phân phối chuẩn bivariate và sử dụng hệ số tương quan Pearson của dữ liệu để ước tính một trong các tham số của phân phối đó. Đây là một trong những quan niệm hẹp nhất (và lâu đời nhất) về tương quan.$(X,Y)$

Một ví dụ khác, bạn có thể bằng cách giả sử có thể có bất kỳ phân phối nào và sử dụng phân tích cụm để xác định k "trung tâm". Người ta có thể hiểu rằng khi bắt đầu phân giải phân phối ( X , Y ) thành một hỗn hợp các phân phối bivariate không chính thống, một cho mỗi cụm.$(X,Y)$$k$$(X,Y)$

Một điều phổ biến cho tất cả các phương pháp này là một điều trị đối xứng của và Y : không có đặc quyền nào khác. Cả hai đều đóng vai trò tương đương.$X$$Y$

hồi quy

Hồi quy thích một định nghĩa rõ ràng, phổ biến:

Hồi quy đặc trưng cho phân phối có điều kiện của (phản hồi) cho X (biến hồi quy).$Y$$X$

Về mặt lịch sử, hồi quy gốc gác của nó để khám phá Galton của (c năm 1885.) Rằng dữ liệu bình thường hai biến được hưởng một tuyến tính hồi quy: kỳ vọng có điều kiện của Y là một hàm tuyến tính của X . Tại một cực của quang phổ đặc biệt nói chung là thường Least squares (OLS) hồi quy nơi phân phối có điều kiện của Y được giả định là bình thường ( β 0 + β 1 X , σ 2 ) cho các thông số cố định β 0 , β 1 , và $(X,Y)$$Y$$X$$Y$$(\beta_0+\beta_1 X, \sigma^2)$$\beta_0, \beta_1,$$\sigma$ được ước tính từ dữ liệu.

Ở phần cực kỳ chung của phổ này là các mô hình tuyến tính tổng quát, mô hình phụ gia tổng quát và các mô hình khác của ilk giúp thư giãn tất cả các khía cạnh của OLS: kỳ vọng, phương sai và thậm chí hình dạng của phân bố có điều kiện của có thể được phép thay đổi phi tuyến với X . Khái niệm đó sống sót tất cả các tổng quát này là di tích quan tâm tập trung vào việc tìm hiểu Y phụ thuộc vào X . Sự bất đối xứng cơ bản đó vẫn còn đó.$Y$$X$$Y$$X$

Tương quan và hồi quy

Một tình huống rất đặc biệt phổ biến đối với cả hai phương pháp và thường gặp phải: mô hình Bình thường hai biến. Trong mô hình này, một biểu đồ phân tán dữ liệu sẽ giả định hình dạng "bóng đá" hình bầu dục hoặc hình xì gà cổ điển: dữ liệu được trải theo hình elip xung quanh một cặp trục trực giao.

• Một phân tích tương quan tập trung vào "sức mạnh" của mối quan hệ này, theo nghĩa là một sự lây lan tương đối nhỏ xung quanh trục chính là "mạnh".

• Như đã nhận xét ở trên, hồi quy của trên X (và, tương tự, hồi quy của X trên Y ) là tuyến tính : kỳ vọng có điều kiện của đáp ứng là một hàm tuyến tính của hồi quy.$Y$$X$$X$$Y$

(Đáng để suy ngẫm về sự khác biệt hình học rõ ràng giữa hai mô tả này: chúng làm sáng tỏ sự khác biệt thống kê cơ bản.)

Trong năm thông số bình thường hai biến (hai phương tiện, hai lây lan, và thêm một biện pháp mà sự phụ thuộc giữa hai biến), một là quan tâm chung: tham số thứ năm, . Nó liên quan trực tiếp (và đơn giản) đến$\rho$

1. Hệ số trong hồi quy của Y trên X .$X$$Y$$X$

2. Hệ số trong hồi quy của X trên Y .$Y$$X$$Y$

3. Phương sai điều kiện trong một trong hai hồi quy và ( 2 ) .$(1)$$(2)$

4. Sự lây lan của xung quanh các trục của hình elip (được đo bằng phương sai).$(X,Y)$

Một phân tích tương quan tập trung vào , không phân biệt vai trò của X và Y .$(4)$$X$$Y$

Phân tích hồi quy tập trung vào các phiên bản từ đến ( 3 ) phù hợp với lựa chọn biến hồi quy và biến trả lời.$(1)$$(3)$

Trong cả hai trường hợp, giả thuyết thích một vai trò đặc biệt: nó cho thấy không có mối tương quan cũng như không có sự thay đổi của Y đối với với X . Bởi vì (trong tình huống đơn giản nhất này) cả hai mô hình xác suất và giả thuyết rất phổ biến để tương quan và hồi quy, nó phải là không có gì ngạc nhiên khi cả hai phương pháp chia sẻ một quan tâm đến số liệu thống kê tương tự (cho dù được gọi là " r " hoặc " β "); rằng các phân phối lấy mẫu null của các thống kê đó là như nhau; và (do đó) rằng các thử nghiệm giả thuyết có thể tạo ra các giá trị p giống hệt nhau.$H_0: \rho=0$$Y$$X$$r$$\hat\beta$

Ứng dụng phổ biến này, là ứng dụng đầu tiên mà bất kỳ ai cũng học được, có thể gây khó khăn cho việc nhận ra mối tương quan và hồi quy khác nhau như thế nào trong các khái niệm và mục tiêu của họ. Chỉ khi chúng ta tìm hiểu về khái quát của họ, sự khác biệt cơ bản mới được bộc lộ. Sẽ rất khó để hiểu một GAM khi đưa ra nhiều thông tin về "mối tương quan", cũng như khó có thể định khung phân tích cụm là một dạng "hồi quy". Hai là các họ thủ tục khác nhau với các mục tiêu khác nhau, mỗi mục đích hữu ích theo cách riêng của nó khi được áp dụng một cách thích hợp.

$r$$\hat\beta$

Như câu trả lời của @ whuber cho thấy có một số mô hình và kỹ thuật có thể nằm trong ô tương quan không có sự tương tự rõ ràng trong một thế giới hồi quy và ngược lại. Tuy nhiên, nhìn chung, khi mọi người nghĩ về, so sánh, và tương quan hồi quy và tương quan, thực tế họ đang xem xét hai mặt của cùng một đồng tiền toán học (điển hình là hồi quy tuyến tính và tương quan Pearson). Việc họ có nên có cái nhìn rộng hơn về cả hai họ phân tích hay không là một cuộc tranh luận riêng biệt, và một điều mà các nhà nghiên cứu nên vật lộn với ít nhất là tối thiểu.

$x$$y$$(x,y)$

Theo quan điểm hẹp về cả hồi quy và tương quan, các giải thích sau đây sẽ giúp làm sáng tỏ cách thức và lý do tại sao các ước tính của chúng, các lỗi tiêu chuẩn và giá trị p về cơ bản là các biến thể của nhau.

Với dataframe datlà longleytập hợp dữ liệu tham chiếu ở trên chúng tôi nhận được sau cho cor.test. (Không có gì mới ở đây trừ khi bạn bỏ qua câu hỏi trên và đi thẳng để đọc câu trả lời):

> cor.test(dat$Employed, dat$Population)

    Pearson's product-moment correlation

data:  dat$Employed and dat$Population
t = 12.896, df = 14, p-value = 3.693e-09
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
 0.8869236 0.9864676
sample estimates:
      cor 
0.9603906 

Và sau đây cho mô hình tuyến tính (cũng giống như trên):

> summary(lm(Employed~Population, data=dat))

Call:
lm(formula = Employed ~ Population, data = dat)

Residuals:
    Min      1Q  Median      3Q     Max 
-1.4362 -0.9740  0.2021  0.5531  1.9048 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8.3807     4.4224   1.895   0.0789 .  
Population    0.4849     0.0376  12.896 3.69e-09 ***
---
Signif. codes:  
0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.013 on 14 degrees of freedom
Multiple R-squared:  0.9224,    Adjusted R-squared:  0.9168 
F-statistic: 166.3 on 1 and 14 DF,  p-value: 3.693e-09

Bây giờ cho các thành phần mới cho câu trả lời này. Đầu tiên, tạo hai phiên bản tiêu chuẩn hóa mới của các biến Employedvà Population:

> dat$zEmployed<-scale(dat$Employed)
> dat$zPopulation<-scale(dat$Population)

Lần thứ hai chạy lại hồi quy:

> summary(lm(zEmployed~zPopulation, data=dat))

Call:
lm(formula = zEmployed ~ zPopulation, data = dat)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.40894 -0.27733  0.05755  0.15748  0.54238 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -2.956e-15  7.211e-02     0.0        1    
zPopulation  9.604e-01  7.447e-02    12.9 3.69e-09 ***
---
Signif. codes:  
0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.2884 on 14 degrees of freedom
Multiple R-squared:  0.9224,    Adjusted R-squared:  0.9168 
F-statistic: 166.3 on 1 and 14 DF,  p-value: 3.693e-09

Voila! Độ dốc hồi quy bằng hệ số tương quan từ trên. Câu trả lời cho Câu hỏi 1 là các giả định cho cả hai bài kiểm tra về cơ bản là giống nhau:

1. Độc lập của các quan sát
2. $x$$y$
3. $e\backsim N(0,\sigma_e^2)$
4. Các thuật ngữ lỗi được phân phối tương tự tại mỗi giá trị dự đoán của đường hồi quy (nghĩa là tính đồng nhất của phương sai lỗi)

$x$$y$

Đối với Câu hỏi 2 , hãy bắt đầu với lỗi tiêu chuẩn của công thức độ dốc hồi quy được sử dụng ở trên (ngụ ý trong mã R - nhưng được nêu rõ bên dưới):

$b$$Var(b)$$\mathbf{X_i}=(X_i-\bar{X})$$\mathbf{Y_i}=(Y_i-\bar{Y})$

Từ công thức đó, bạn có thể chuyển sang biểu thức sau, cô đọng và hữu ích hơn ( xem liên kết này để biết từng bước ):

$\sigma_e^2$

Tôi nghĩ bạn sẽ tìm thấy nếu bạn giải phương trình này cho các mô hình tuyến tính không chuẩn và chuẩn (nghĩa là tương quan), bạn sẽ nhận được cùng giá trị p và t cho độ dốc của mình. Cả hai thử nghiệm đều dựa vào ước lượng bình phương nhỏ nhất thông thường và đưa ra các giả định giống nhau. Trong thực tế, nhiều nhà nghiên cứu bỏ qua việc kiểm tra giả định cho cả mô hình hồi quy tuyến tính đơn giản và tương quan, mặc dù tôi nghĩ rằng nó thậm chí còn phổ biến hơn để làm tương quan vì nhiều người không nhận ra chúng là trường hợp đặc biệt của hồi quy tuyến tính đơn giản. (Lưu ý: đây không phải là một thực hành tốt để áp dụng)

Dưới đây là một lời giải thích về sự tương đương của thử nghiệm, cũng cho thấy r và b có liên quan như thế nào.

http://www.real-statistic.com/regression/hypothesis-testing-significance-regression-line-slope/

Để thực hiện OLS, bạn phải tạo https://en.wikipedia.org/wiki/Ordinary_least_squares#Assumptions

Ngoài ra, OLS và chính xác yêu cầu giả định lấy mẫu ngẫu nhiên.

Xây dựng một thử nghiệm đúng giả định:

Chúng tôi có một "mẫu ngẫu nhiên và đủ lớn" từ dân số của (x, y).

Về câu hỏi 2

cách tính cùng giá trị t bằng cách sử dụng r thay vì 1

$t$$r$$F$$r$

$k=2$$n=datapoints$

Với những hạn chế đó

... không thể sử dụng tỷ lệ F khi mô hình không có đánh chặn

Nguồn: Kiểm tra giả thuyết trong mô hình hồi quy bội