Điều gì xảy ra nếu các biến giải thích và phản ứng được sắp xếp độc lập trước khi hồi quy?

Giả sử chúng ta có tập dữ liệu $(X_i,Y_i)$ với điểm. Chúng tôi muốn thực hiện hồi quy tuyến tính, nhưng trước tiên, chúng tôi sắp xếp các giá trị và các giá trị độc lập với nhau, tạo thành tập dữ liệu . Có bất kỳ giải thích có ý nghĩa về hồi quy trên tập dữ liệu mới? Cái này có tên không?X $n$$X_i$ ( X i , Y j$Y_i$$(X_i,Y_j)$

Tôi tưởng tượng đây là một câu hỏi ngớ ngẩn nên tôi xin lỗi, tôi không được đào tạo chính thức về thống kê. Trong tâm trí của tôi, điều này hoàn toàn phá hủy dữ liệu của chúng tôi và hồi quy là vô nghĩa. Nhưng người quản lý của tôi nói rằng anh ta nhận được "hồi quy tốt hơn hầu hết thời gian" khi anh ta làm điều này (ở đây "tốt hơn" có nghĩa là dễ dự đoán hơn). Tôi có cảm giác anh đang tự lừa dối mình.

EDIT: Cảm ơn bạn cho tất cả các ví dụ tốt đẹp và kiên nhẫn của bạn. Tôi đã cho anh ấy xem các ví dụ của @ RUser4512 và @gung và anh ấy vẫn trung thành. Anh ta trở nên cáu kỉnh và tôi trở nên kiệt sức. Tôi cảm thấy chán nản. Tôi có thể sẽ bắt đầu tìm kiếm công việc khác sớm.

Tôi không chắc ông chủ của bạn nghĩ "dự đoán nhiều hơn" nghĩa là gì. Nhiều người tin sai rằng giá trị thấp hơn có nghĩa là một mô hình dự đoán tốt hơn / tốt hơn. Điều đó không nhất thiết đúng (đây là một trường hợp điển hình). Tuy nhiên, việc sắp xếp độc lập cả hai biến trước sẽ đảm bảo giá trị p thấp hơn . Mặt khác, chúng ta có thể đánh giá độ chính xác dự đoán của một mô hình bằng cách so sánh các dự đoán của nó với dữ liệu mới được tạo ra bởi cùng một quy trình. Tôi làm điều đó dưới đây trong một ví dụ đơn giản (mã hóa ). $p$$p$R

options(digits=3)                       # for cleaner output
set.seed(9149)                          # this makes the example exactly reproducible

B1 = .3
N  = 50                                 # 50 data
x  = rnorm(N, mean=0, sd=1)             # standard normal X
y  = 0 + B1*x + rnorm(N, mean=0, sd=1)  # cor(x, y) = .31
sx = sort(x)                            # sorted independently
sy = sort(y)
cor(x,y)    # [1] 0.309
cor(sx,sy)  # [1] 0.993

model.u = lm(y~x)
model.s = lm(sy~sx)
summary(model.u)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.021      0.139   0.151    0.881
# x              0.340      0.151   2.251    0.029  # significant
summary(model.s)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.162     0.0168    9.68 7.37e-13
# sx             1.094     0.0183   59.86 9.31e-47  # wildly significant

u.error = vector(length=N)              # these will hold the output
s.error = vector(length=N)
for(i in 1:N){
  new.x      = rnorm(1, mean=0, sd=1)   # data generated in exactly the same way
  new.y      = 0 + B1*x + rnorm(N, mean=0, sd=1)
  pred.u     = predict(model.u, newdata=data.frame(x=new.x))
  pred.s     = predict(model.s, newdata=data.frame(x=new.x))
  u.error[i] = abs(pred.u-new.y)        # these are the absolute values of
  s.error[i] = abs(pred.s-new.y)        #  the predictive errors
};  rm(i, new.x, new.y, pred.u, pred.s)
u.s = u.error-s.error                   # negative values means the original
                                        # yielded more accurate predictions
mean(u.error)  # [1] 1.1
mean(s.error)  # [1] 1.98
mean(u.s<0)    # [1] 0.68


windows()
  layout(matrix(1:4, nrow=2, byrow=TRUE))
  plot(x, y,   main="Original data")
  abline(model.u, col="blue")
  plot(sx, sy, main="Sorted data")
  abline(model.s, col="red")
  h.u = hist(u.error, breaks=10, plot=FALSE)
  h.s = hist(s.error, breaks=9,  plot=FALSE)
  plot(h.u, xlim=c(0,5), ylim=c(0,11), main="Histogram of prediction errors",
       xlab="Magnitude of prediction error", col=rgb(0,0,1,1/2))
  plot(h.s, col=rgb(1,0,0,1/4), add=TRUE)
  legend("topright", legend=c("original","sorted"), pch=15, 
         col=c(rgb(0,0,1,1/2),rgb(1,0,0,1/4)))
  dotchart(u.s, color=ifelse(u.s<0, "blue", "red"), lcolor="white",
           main="Difference between predictive errors")
  abline(v=0, col="gray")
  legend("topright", legend=c("u better", "s better"), pch=1, col=c("blue","red"))

Biểu đồ phía trên bên trái hiển thị dữ liệu gốc. Có một số mối quan hệ giữa và y (viz., Tương quan là khoảng .31 .) Biểu đồ phía trên bên phải cho thấy dữ liệu trông như thế nào sau khi sắp xếp độc lập cả hai biến. Bạn có thể dễ dàng thấy rằng sức mạnh của mối tương quan đã tăng đáng kể (bây giờ là khoảng 0,99 ). Tuy nhiên, ở các ô thấp hơn, chúng tôi thấy rằng việc phân phối các lỗi dự đoán gần với 0 hơn cho mô hình được đào tạo trên dữ liệu gốc (chưa được sắp xếp). Lỗi dự báo tuyệt đối trung bình cho mô hình sử dụng dữ liệu gốc là 1.1 , trong khi đó lỗi dự đoán tuyệt đối trung bình cho mô hình được đào tạo trên dữ liệu được sắp xếp là $x$$y$$.31$$.99$$0$$1.1$$1.98$Lớn gấp hai lần lớn. Điều đó có nghĩa là các dự đoán của mô hình dữ liệu được sắp xếp nằm xa hơn các giá trị chính xác. Biểu đồ trong góc phần tư phía dưới bên phải là một dấu chấm. Nó hiển thị sự khác biệt giữa lỗi dự đoán với dữ liệu gốc và với dữ liệu được sắp xếp. Điều này cho phép bạn so sánh hai dự đoán tương ứng cho mỗi quan sát mới được mô phỏng. Các chấm màu xanh ở bên trái là thời gian khi dữ liệu gốc gần với giá trị mới và các chấm đỏ ở bên phải là thời gian khi dữ liệu được sắp xếp mang lại dự đoán tốt hơn. Có nhiều dự đoán chính xác hơn từ mô hình được đào tạo trên dữ liệu gốc 68 % thời gian. $y$$68\%$

Mức độ sắp xếp sẽ gây ra những vấn đề này là một chức năng của mối quan hệ tuyến tính tồn tại trong dữ liệu của bạn. Nếu tương quan giữa và y là 1.0 , việc sắp xếp sẽ không có hiệu lực và do đó không gây bất lợi. Mặt khác, nếu tương quan là - $x$$y$$1.0$$-1.0$, việc sắp xếp sẽ đảo ngược hoàn toàn mối quan hệ, làm cho mô hình càng không chính xác càng tốt. Nếu dữ liệu ban đầu hoàn toàn không tương thích, việc sắp xếp sẽ có tác động trung gian nhưng vẫn khá lớn, gây ảnh hưởng xấu đến độ chính xác dự đoán của mô hình kết quả. Vì bạn đề cập rằng dữ liệu của bạn thường tương quan với nhau, tôi nghi ngờ rằng đã cung cấp một số bảo vệ chống lại tác hại nội tại của quy trình này. Tuy nhiên, sắp xếp đầu tiên chắc chắn có hại. Để khám phá những khả năng này, chúng ta chỉ cần chạy lại đoạn mã trên với các giá trị khác nhau cho B1(sử dụng cùng một hạt giống để tái sản xuất) và kiểm tra đầu ra:

1. B1 = -5:

   cor(x,y)                            # [1] -0.978
   summary(model.u)$coefficients[2,4]  # [1]  1.6e-34  # (i.e., the p-value)
   summary(model.s)$coefficients[2,4]  # [1]  1.82e-42
   mean(u.error)                       # [1]  7.27
   mean(s.error)                       # [1] 15.4
   mean(u.s<0)                         # [1]  0.98

2. B1 = 0:

   cor(x,y)                            # [1] 0.0385
   summary(model.u)$coefficients[2,4]  # [1] 0.791
   summary(model.s)$coefficients[2,4]  # [1] 4.42e-36
   mean(u.error)                       # [1] 0.908
   mean(s.error)                       # [1] 2.12
   mean(u.s<0)                         # [1] 0.82

3. B1 = 5:

   cor(x,y)                            # [1] 0.979
   summary(model.u)$coefficients[2,4]  # [1] 7.62e-35
   summary(model.s)$coefficients[2,4]  # [1] 3e-49
   mean(u.error)                       # [1] 7.55
   mean(s.error)                       # [1] 6.33
   mean(u.s<0)                         # [1] 0.44

Nếu bạn muốn thuyết phục sếp của mình, bạn có thể hiển thị những gì đang xảy ra với dữ liệu mô phỏng, ngẫu nhiên, độc lập . Với r:$x,y$

n <- 1000

y<- runif(n)
x <- runif(n)

linearModel <- lm(y ~ x)


x_sorted <- sort(x)
y_sorted <- sort(y)

linearModel_sorted <- lm(y_sorted ~ x_sorted)

par(mfrow = c(2,1))
plot(x,y, main = "Random data")
abline(linearModel,col = "red")


plot(x_sorted,y_sorted, main = "Random, sorted data")
abline(linearModel_sorted,col = "red")

Rõ ràng, các kết quả được sắp xếp cung cấp một hồi quy đẹp hơn nhiều. Tuy nhiên, với quy trình được sử dụng để tạo dữ liệu (hai mẫu độc lập), hoàn toàn không có khả năng người ta có thể sử dụng để dự đoán dữ liệu kia.

Trực giác của bạn là chính xác: dữ liệu được sắp xếp độc lập không có ý nghĩa đáng tin cậy bởi vì đầu vào và đầu ra đang được ánh xạ ngẫu nhiên với nhau thay vì mối quan hệ được quan sát là gì.

Có một cơ hội (tốt) rằng hồi quy trên dữ liệu được sắp xếp sẽ trông đẹp, nhưng nó là vô nghĩa trong bối cảnh.

Ví dụ trực quan: Giả sử một tập dữ liệu cho một số dân. Biểu đồ của dữ liệu không bị biến đổi có thể trông giống như hàm logarit hoặc hàm năng lượng: tốc độ tăng trưởng nhanh hơn đối với trẻ em chậm chạp đối với thanh thiếu niên sau này và "không có triệu chứng" tiếp cận chiều cao tối đa của một người trẻ tuổi trở lên.$(X = age, Y = height)$

Nếu chúng ta sắp xếp theo thứ tự tăng dần, đồ thị có thể sẽ gần như tuyến tính. Do đó, chức năng dự đoán là mọi người phát triển cao hơn trong suốt cuộc đời của họ. Tôi sẽ không đặt cược tiền vào thuật toán dự đoán đó. $x, y$

Trên thực tế, hãy làm cho điều này thực sự rõ ràng và đơn giản. Giả sử tôi tiến hành một thí nghiệm trong đó tôi đo được 1 lít nước trong một thùng chứa được tiêu chuẩn hóa và tôi xem lượng nước còn lại trong bình chứa là một hàm của thời gian t i , mất nước do bay hơi:$V_i$$t_i$

Bây giờ, giả sử tôi có được các phép đo sau theo giờ và lít, tương ứng: ( 0 , 1.0 ) , ( 1 , 0.9 ) , ( Đây rõ ràng là dữ liệu tương đối hoàn toàn (và giả thuyết). Nhưng nếu tôi là để sắp xếp thời gian và các phép đo âm lượng, tôi sẽ lấy ( 0 , 0,5 ) , ( 1 , 0,6 ) , ( $(t_i, V_i)$

Đó là một nghệ thuật thực sự và cần một sự hiểu biết thực sự về tâm lý học để có thể thuyết phục một số người về lỗi của họ. Bên cạnh tất cả các ví dụ tuyệt vời ở trên, đôi khi một chiến lược hữu ích cho thấy niềm tin của một người dẫn đến sự không nhất quán với chính mình. Hoặc thử phương pháp này. Tìm hiểu điều gì đó mà sếp của bạn tin tưởng mạnh mẽ như cách mọi người thực hiện nhiệm vụ Y không liên quan gì đến việc họ sở hữu bao nhiêu thuộc tính X. Cho thấy cách tiếp cận của sếp bạn sẽ dẫn đến kết luận về mối liên hệ chặt chẽ giữa X và Y. Tận dụng niềm tin chính trị / chủng tộc / tôn giáo.

Khuôn mặt vô sinh nên đã đủ. Thật là một ông chủ cứng đầu. Trong khi đó, đang tìm kiếm một công việc tốt hơn. Chúc may mắn.

Thêm một ví dụ nữa. Hãy tưởng tượng rằng bạn có hai biến số, một biến liên quan đến việc ăn sô cô la và biến thứ hai liên quan đến sức khỏe tổng thể. Bạn có một mẫu gồm hai và dữ liệu của bạn trông như dưới đây:

Mối quan hệ của sô cô la và hạnh phúc dựa trên mẫu của bạn là gì? Và bây giờ, thay đổi thứ tự của một trong các cột - mối quan hệ sau hoạt động này là gì?

Vấn đề tương tự có thể được tiếp cận khác nhau. Giả sử, bạn có một mẫu lớn hơn, với một số trường hợp và bạn đo hai biến liên tục: mức tiêu thụ sô cô la mỗi ngày (tính bằng gam) và hạnh phúc (hãy tưởng tượng rằng bạn có một số cách để đo lường nó). Nếu bạn quan tâm nếu chúng có liên quan, bạn có thể đo lường mối tương quan hoặc sử dụng mô hình hồi quy tuyến tính, nhưng đôi khi trong những trường hợp như vậy, mọi người chỉ cần phân đôi một biến và sử dụng nó như là một yếu tố nhóm với$t$$N$$t$

$i$$X$$i$$Y$

Lưu ý rằng đôi khi chúng ta thực sự quan tâm đến việc thay đổi thứ tự các trường hợp, chúng ta làm như vậy trong các phương pháp lấy mẫu lại . Ví dụ: chúng ta có thể cố tình xáo trộn các quan sát nhiều lần để tìm hiểu điều gì đó về phân phối dữ liệu null (dữ liệu của chúng ta sẽ như thế nào nếu không có quan hệ cặp đôi) và tiếp theo chúng ta có thể so sánh nếu dữ liệu thực của chúng ta tốt hơn ngẫu nhiên xáo trộn. Những gì người quản lý của bạn làm hoàn toàn ngược lại - anh ta cố tình buộc các quan sát phải có cấu trúc nhân tạo, nơi không có cấu trúc, điều gì dẫn đến mối tương quan không có thật.

Một ví dụ đơn giản mà có lẽ người quản lý của bạn có thể hiểu:

Giả sử bạn có Coin Y và Coin X, và bạn lật từng cái 100 lần. Sau đó, bạn muốn dự đoán liệu việc có được một người đứng đầu với Coin X (IV) có thể tăng cơ hội nhận được một người đứng đầu với Coin Y (DV) hay không.

Nếu không sắp xếp, mối quan hệ sẽ không có gì, vì kết quả của Coin X không ảnh hưởng đến kết quả của Coin Y. Với sự sắp xếp, mối quan hệ sẽ gần như hoàn hảo.

Làm thế nào có ý nghĩa để kết luận rằng bạn có một cơ hội tốt để có được một cái đầu trên một đồng xu lật nếu bạn vừa lật một cái đầu với một đồng tiền khác nhau?

Kỹ thuật này thực sự tuyệt vời. Tôi đang tìm đủ mọi mối quan hệ mà tôi chưa bao giờ nghi ngờ. Chẳng hạn, tôi đã không nghi ngờ rằng những con số xuất hiện trong xổ số Powerball, mà nó được YÊU CẦU là ngẫu nhiên, thực sự có tương quan cao với giá mở cửa của cổ phiếu Apple trong cùng một ngày! Các bạn, tôi nghĩ chúng ta sắp rút tiền trong thời gian lớn. :)

> powerball_last_number = scan()
1: 69 66 64 53 65 68 63 64 57 69 40 68
13: 
Read 12 items
> #Nov. 18, 14, 11, 7, 4
> #Oct. 31, 28, 24, 21, 17, 14, 10
> #These are powerball dates.  Stock opening prices 
> #are on same or preceding day.
> 
> appl_stock_open = scan()
1: 115.76  115.20 116.26  121.11  123.13 
6: 120.99  116.93  116.70  114.00  111.78
11: 111.29  110.00
13: 
Read 12 items
> hold = lm(appl_stock_open ~ powerball_last_number)
> summary(hold)


Coefficients:
                       Estimate Std. Error t value Pr(>|t|)    
(Intercept)           112.08555    9.45628  11.853 3.28e-07 ***
powerball_last_number   0.06451    0.15083   0.428    0.678    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 4.249 on 10 degrees of freedom
Multiple R-squared:  0.01796,   Adjusted R-squared:  -0.08024 
F-statistic: 0.1829 on 1 and 10 DF,  p-value: 0.6779

Hmm, dường như không có một mối quan hệ đáng kể. NHƯNG sử dụng kỹ thuật mới, cải tiến:

> 
> vastly_improved_regression = lm(sort(appl_stock_open)~sort(powerball_last_number))
> summary(vastly_improved_regression)

Coefficients:
                            Estimate Std. Error t value Pr(>|t|)    
(Intercept)                 91.34418    5.36136  17.038 1.02e-08 ***
sort(powerball_last_number)  0.39815    0.08551   4.656    9e-04 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.409 on 10 degrees of freedom
Multiple R-squared:  0.6843,    Adjusted R-squared:  0.6528 
F-statistic: 21.68 on 1 and 10 DF,  p-value: 0.0008998

LƯU Ý: Đây không có nghĩa là một phân tích nghiêm trọng. Chỉ cần cho người quản lý của bạn biết rằng họ có thể tạo BẤT K Two hai biến nào có liên quan đáng kể nếu bạn sắp xếp cả hai biến.

Rất nhiều ví dụ truy cập tốt ở đây. Hãy để tôi chỉ thêm một đoạn về trung tâm của vấn đề.

$X_i$$Y_i$$X$$Y$$i$$i$$X_1$$Y_1$$X_2$$Y_2$$X$$Y$$X_1$$Y_1$$X_1$$Y_1$ mà bạn đang theo đuổi.

Trên thực tế, hãy để tôi thêm một đoạn về lý do tại sao nó "hoạt động" là tốt.

$X_a$$X_b$$X_a$$X$$Y_a$$X_z$$X$$Y_z$$Y$$X_a$$Y_a$$X_z$$Y_z$$X_1$$Y_1$

Trên thực tế, thử nghiệm được mô tả (nghĩa là sắp xếp các giá trị X và các giá trị Y một cách độc lập và hồi quy cái này với cái kia) DO thử nghiệm cái gì đó, giả sử rằng (X, Y) được lấy mẫu là các cặp độc lập từ phân phối bivariate. Nó không phải là một bài kiểm tra về những gì người quản lý của bạn muốn kiểm tra. Về cơ bản, nó là kiểm tra tính tuyến tính của âm mưu QQ, so sánh phân phối biên của X với phân phối biên của Ys. Cụ thể, 'dữ liệu' sẽ nằm sát một đường thẳng nếu mật độ của Xs (f (x)) có liên quan đến mật độ của Ys (g (y)) theo cách này:

$f(x) = g((y-a)/b)$$a$$b>0$

Điều kỳ lạ là mẫu phản biện rõ ràng nhất vẫn chưa có trong số các câu trả lời ở dạng đơn giản nhất.

$Y = -X$ .

$\hat Y \approx X$

Đây là một kiểu "nghịch đảo trực tiếp" của mẫu bạn có thể sẵn sàng tìm thấy ở đây.

Bạn đúng rồi. Người quản lý của bạn sẽ tìm thấy kết quả "tốt"! Nhưng chúng là vô nghĩa. Những gì bạn nhận được khi bạn sắp xếp chúng một cách độc lập là cả hai đều tăng hoặc giảm tương tự nhau và điều này mang lại một ngữ nghĩa của một mô hình tốt. Nhưng hai biến đã bị tước bỏ mối quan hệ thực tế của họ và mô hình không chính xác.

$x \sim x^2$$x$$x^2$$x$ s có các phân phối khác nhau.

Hồi quy tuyến tính thường ít hợp lý hơn (ngoại lệ tồn tại, xem các câu trả lời khác); nhưng hình dạng của đuôi và phân phối lỗi cho bạn biết các phân phối tương tự cách nhau bao xa.

Tôi có một trực giác đơn giản tại sao điều này thực sự là một ý tưởng tốt nếu chức năng là đơn điệu :

$x_1, x_2,\cdots, x_n$$x_i<x_{i+1}$$f:\Re\mapsto\Re$$y_i = f(x_i) + \varepsilon_i$$\varepsilon_i$

$f$ sẽ trở nên tốt hơn trong các giả định nhẹ.

$\varepsilon_i$

Tái bút: Tôi thấy thật tuyệt vời khi một câu hỏi rõ ràng đơn giản có thể dẫn đến những cách thức mới thú vị về mô hình tiêu chuẩn suy nghĩ lại. Xin cảm ơn sếp!

Giả sử bạn có những điểm này trên một vòng tròn bán kính 5. Bạn tính tương quan:

import pandas as pd
s1 = [(-5, 0), (-4, -3), (-4, 3), (-3, -4), (-3, 4), (0, 5), (0, -5), (3, -4), (3, 4), (4, -3), (4, 3), (5, 0)]
df1 = pd.DataFrame(s1, columns=["x", "y"])
print(df1.corr())

   x  y
x  1  0
y  0  1

Sau đó, bạn sắp xếp các giá trị x và y của mình và thực hiện lại tương quan:

s2 = [(-5, -5), (-4, -4), (-4, -4), (-3, -3), (-3, -3), (0, 0), (0, 0), (3, 3), (3, 3), (4, 4), (4, 4), (5, 5)]
df2 = pd.DataFrame(s2, columns=["x", "y"])
print(df2.corr())

   x  y
x  1  1
y  1  1

Bằng thao tác này, bạn thay đổi một tập dữ liệu có tương quan 0,0 thành một với tương quan 1.0. Đó là một vấn đề.

Hãy để tôi chơi Advocate của Devil ở đây. Tôi nghĩ rằng nhiều câu trả lời đã đưa ra những trường hợp thuyết phục rằng quy trình của ông chủ bị nhầm lẫn về cơ bản. Đồng thời, tôi đưa ra một ví dụ ngược lại minh họa rằng ông chủ có thể đã thực sự thấy kết quả được cải thiện với sự chuyển đổi sai lầm này.

Tôi nghĩ rằng việc thừa nhận rằng quy trình này có thể đã "có hiệu quả" đối với ông chủ có thể bắt đầu một cuộc tranh luận thuyết phục hơn: Chắc chắn, nó đã có hiệu quả, nhưng chỉ trong những trường hợp may mắn này thường không giữ được. Sau đó, chúng ta có thể hiển thị - như trong câu trả lời được chấp nhận tuyệt vời - nó tệ đến mức nào khi chúng ta không may mắn. Đó là hầu hết thời gian. Trong sự cô lập, cho sếp thấy nó tệ đến mức nào có thể không thuyết phục được anh ta bởi vì anh ta có thể đã thấy một trường hợp như vậy cải thiện tình hình, và con số đó lập luận ưa thích của chúng tôi phải có một lỗ hổng ở đâu đó.

Tôi đã tìm thấy dữ liệu này trực tuyến và chắc chắn, có vẻ như hồi quy được cải thiện bằng cách sắp xếp độc lập X và Y vì: a) dữ liệu có mối tương quan tích cực cao và b) OLS thực sự không hoạt động tốt với mức cực cao (cao -cung cấp) ngoại lệ. Chiều cao và cân nặng có mối tương quan là 0,19 với ngoại lệ bao gồm, 0,77 với ngoại lệ được loại trừ và 0,78 với X và Y được sắp xếp độc lập.

x <- read.csv ("https://vincentarelbundock.github.io/Rdatasets/csv/car/Davis.csv", header=TRUE)

plot (weight ~ height, data=x)

lm1 <- lm (weight ~ height, data=x)

xx <- x
xx$weight <- sort (xx$weight)
xx$height <- sort (xx$height)

plot (weight ~ height, data=xx)

lm2 <- lm (weight ~ height, data=xx)

plot (weight ~ height, data=x)
abline (lm1)
abline (lm2, col="red")

plot (x$height, x$weight)
points (xx$height, xx$weight, col="red")

Vì vậy, dường như mô hình hồi quy trên tập dữ liệu này được cải thiện bằng cách sắp xếp độc lập (đường màu đen so với màu đỏ trong biểu đồ đầu tiên) và có một mối quan hệ rõ ràng (màu đen so với màu đỏ trong biểu đồ thứ hai), do tập dữ liệu cụ thể là tương quan cao (tích cực) và có loại ngoại lệ phù hợp gây hại cho hồi quy hơn so với sự xáo trộn xảy ra khi bạn phân loại độc lập x và y.

Một lần nữa, không nói sắp xếp độc lập làm bất cứ điều gì hợp lý nói chung, cũng không phải là câu trả lời chính xác ở đây. Chỉ là ông chủ có thể đã nhìn thấy một cái gì đó như thế này xảy ra để làm việc trong những trường hợp phù hợp.

Nếu anh ta đã chọn trước các biến là đơn điệu, thì nó thực sự khá mạnh mẽ. Google "mô hình tuyến tính không phù hợp" và "Robin Dawes" hoặc "Howard Wainer." Dawes và Wainer nói về cách lựa chọn hệ số thay thế. John Cook có một cột ngắn ( http://www.johndcook.com/blog/2013/03/05/robustness-of-equal-weights/ ) trên đó.

Tôi nghĩ về nó, và nghĩ rằng có một số cấu trúc ở đây dựa trên số liệu thống kê đơn hàng. Tôi đã kiểm tra và dường như mo của quản lý không phải là hạt dẻ như nó nghe

Thống kê đơn hàng Hệ số tương quan như một phép đo của Hiệp hội Tiểu thuyết với các ứng dụng để phân tích sinh học

http://www.researchgate.net/profile/weichao_Xu/publication/3320558_Order_Statistic_Correlation_Coe enough_as_a_Nigs_Association_Measousing_With_Appluggest_to_Biosignal_Analysis / links / 0912f6

Chúng tôi đề xuất một hệ số tương quan mới dựa trên thống kê đơn hàng và bất bình đẳng sắp xếp lại. Hệ số đề xuất thể hiện sự thỏa hiệp giữa hệ số tuyến tính của Pearson và hai hệ số dựa trên xếp hạng, cụ thể là Spearman's rho và Kendall's tau. Các dẫn xuất lý thuyết cho thấy rằng hệ số của chúng tôi có các tính chất cơ bản giống như ba hệ số cổ điển. Các nghiên cứu thực nghiệm dựa trên bốn mô hình và sáu mô hình sinh học cho thấy hệ số của chúng tôi hoạt động tốt hơn hai hệ số dựa trên xếp hạng khi đo các liên kết tuyến tính; trong khi đó nó cũng có thể phát hiện các hiệp hội phi tuyến đơn điệu như hai hệ số dựa trên xếp hạng. Các phân tích thống kê mở rộng cũng cho thấy rằng hệ số mới của chúng tôi có độ mạnh chống nhiễu vượt trội, độ lệch nhỏ,