Mối tương quan giữa các công cụ ước tính OLS cho đánh chặn và độ dốc

Trong mô hình hồi quy đơn giản,

y = β_{0} + β_{1} x + ε,

$y = \beta_0 + \beta_1 x + \varepsilon,$

các công cụ ước tính OLS và có mối tương quan với nhau. $\hat{\beta}_0^{OLS}$ $\hat{\beta}_1^{OLS}$

Công thức cho mối tương quan giữa hai công cụ ước tính là (nếu tôi đã dẫn xuất chính xác):

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \sum_{i = 1}^{n} x_{i}}{\sqrt{n} \sqrt{\sum_{i = 1}^{n} x_{i}^{2}}} .

$\operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }.$

Câu hỏi:

Giải thích trực quan cho sự hiện diện của mối tương quan là gì?
Liệu sự hiện diện của mối tương quan có bất kỳ ý nghĩa quan trọng?

Bài đăng đã được chỉnh sửa và xác nhận rằng mối tương quan biến mất với kích thước mẫu đã bị xóa. (Cảm ơn @whuber và @ChristophHanck.)

regression least-squares estimators

— Richard Hardy
nguồn

Công thức này là chính xác, nhưng bạn có thể vui lòng giải thích những gì tiệm cận bạn đang sử dụng? Rốt cuộc, trong nhiều trường hợp, mối tương quan không biến mất - nó ổn định. Hãy xem xét, ví dụ , một thử nghiệm trong đó là dữ liệu nhị phân và giả sử được thu thập bằng cách xen kẽ giữa và . Sau đó và mối tương quan sẽ luôn gần với , bất kể lớn đến mức nào .

x_{i}

$x_i$

x_{i}

$x_i$

1

$1$

0

$0$

\sum x_{i} = \sum x_{i}^{2} \approx n / 2

$\sum x_i = \sum x_i^2 \approx n/2$

\sqrt{2} / 2 \neq 0

$\sqrt{2}/2 \ne 0$

n

$n$

— whuber

Tôi sẽ nói nó chỉ biến mất nếu : write phù hợp với .

E (X) = 0

$E(X)=0$

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \frac{1}{N} \sum_{i = 1}^{N} x_{i}}{\sqrt{\frac{N \sum_{i = 1}^{N} x_{i}^{2}}{N^{2}}}} = \frac{- \frac{1}{N} \sum_{i = 1}^{N} x_{i}}{\sqrt{\frac{\sum_{i = 1}^{N} x_{i}^{2}}{N}}},

$\operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\frac{1}{N}\sum_{i=1}^{N}x_i}{\sqrt{\frac{N\sum_{i=1}^{N}x_i^2}{N^2}}} = \frac{-\frac{1}{N}\sum_{i=1}^{N}x_i}{\sqrt{\frac{\sum_{i=1}^{N}x_i^2}{N}}},$

- E (X) / \sqrt{E (X^{2})}

$-E(X)/\sqrt{E(X^2)}$

— Christoph Hanck

Thật vậy, tôi đã bỏ lỡ một khi tôi bắt nguồn hành vi tương quan khi tăng. Vì vậy, whuber và ChristophHanck là chính xác. Tôi vẫn quan tâm đến một lời giải thích trực quan về lý do tại sao mối tương quan là khác không ngay từ đầu, và bất kỳ ý nghĩa hữu ích nào . (Tôi không nói rằng mối tương quan nên bằng trực giác bằng không, tôi chỉ không có bất kỳ trực giác nào ở đây.)

n

$n$

n

$n$

— Richard Hardy

Công thức của bạn hiển thị gọn gàng, ví dụ, đối với một biến hồi quy trung tâm , mối tương quan với hàm chặn sẽ biến mất.

x

$x$

— Michael M

Liên quan: Tại sao lỗi tiêu chuẩn của phần chặn tăng thêm là từ 0?

\bar{x}

$\bar x$

— gung - Tái lập Monica

Hãy để tôi thử nó như sau (thực sự không chắc đó có phải là trực giác hữu ích không):

Dựa trên nhận xét trên của tôi, mối tương quan sẽ đại khái là Do đó, nếu thay vì , hầu hết dữ liệu sẽ được nhóm ở bên phải của số không. Do đó, nếu hệ số độ dốc trở nên lớn hơn, công thức tương quan khẳng định rằng phần chặn cần phải trở nên nhỏ hơn - điều này có ý nghĩa.

- \frac{E (X)}{\sqrt{E (X^{2})}}

$-\frac{E(X)}{\sqrt{E(X^2)}}$

E (X) > 0

$E(X)>0$

E (X) = 0

$E(X)=0$

Tôi đang nghĩ về một cái gì đó như thế này:

Trong mẫu màu xanh lam, ước tính độ dốc là phẳng hơn, có nghĩa là ước tính đánh chặn có thể lớn hơn. Độ dốc cho mẫu vàng có phần lớn hơn, do đó phần chặn có thể nhỏ hơn một chút để bù cho phần này.

Mặt khác, nếu , chúng ta có thể có bất kỳ độ dốc nào mà không có bất kỳ ràng buộc nào đối với việc chặn. $E(X)=0$

Mẫu số của công thức cũng có thể được hiểu theo các dòng này: nếu, với một giá trị trung bình nhất định, độ biến thiên khi được đo bằng tăng lên, dữ liệu sẽ bị mờ đi trên -axis, do đó nó trông "có hiệu quả" "Thêm trung bình nữa - một lần nữa, nới lỏng các ràng buộc trên phần chặn cho một giá trị trung bình . $E(X^2)$ $x$ $X$

Đây là mã, mà tôi hy vọng giải thích đầy đủ con số:

n <- 30
x_1 <- sort(runif(n,2,3))
beta <- 2
y_1 <- x_1*beta + rnorm(n) # the golden sample

x_2 <- sort(runif(n,2,3)) 
beta <- 2
y_2 <- x_2*beta + rnorm(n) # the blue sample

xax <- seq(-1,3,by=.001)
plot(x_1,y_1,xlim=c(-1,3),ylim=c(-4,7),pch=19,col="gold",ylab="y",xlab="x")
abline(lm(y_1~x_1),col="gold",lwd=2)
abline(v=0,lty=2)
lines(xax,beta*xax) # the "true" regression line
abline(lm(y_2~x_2),col="lightblue",lwd=2)
points(x_2,y_2,pch=19,col="lightblue")

— Christoph Hanck
nguồn

Để có ý nghĩa thực tế, hãy xem xét việc phát triển và sử dụng đường cong hiệu chuẩn cho dụng cụ phòng thí nghiệm. Để phát triển hiệu chuẩn, các giá trị đã biết của

được kiểm tra bằng thiết bị và các giá trị

đầu ra được đo, theo sau là hồi quy tuyến tính. Sau đó, một mẫu chưa biết được áp dụng cho thiết bị và giá trị

mới được sử dụng để dự đoán

chưa biết dựa trên hiệu chuẩn hồi quy tuyến tính. Phân tích lỗi về ước tính của

chưa biết sẽ liên quan đến mối tương quan giữa ước tính độ dốc hồi quy và đánh chặn.

x

$x$

y

$y$

y

$y$

x

$x$

x

$x$

— EdM

Bạn có thể muốn theo dõi Giới thiệu về Kinh tế lượng của Dougherty , có lẽ xem xét cho đến bây giờ là biến không ngẫu nhiên và xác định độ lệch bình phương trung bình của là $x$ $x$ . Lưu ý rằng MSD được đo bằng bình phương của các đơn vị của(ví dụ: nếulà trongthì MSD là trong), trong khi các gốc độ lệch bình phương trung bình, $\DeclareMathOperator{\MSD}{MSD}\MSD(x) = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2$ $x$ $x$ $\text{cm}$ $\text{cm}^2$ là trên quy mô ban đầu. Sản lượng này $\DeclareMathOperator{\RMSD}{RMSD}\RMSD(x)=\sqrt{\MSD(x)}$

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \bar{x}}{\sqrt{MSD (x) + {\bar{x}}^{2}}}

$\DeclareMathOperator{\Corr}{Corr}\Corr(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$

Điều này sẽ giúp bạn thấy mức độ tương quan bị ảnh hưởng bởi cả giá trị trung bình của (đặc biệt là mối tương quan giữa độ dốc và công cụ ước tính chặn của bạn được loại bỏ nếu biến được căn giữa) và cả sự lây lan của nó . (Sự phân hủy này cũng có thể đã làm cho sự tiệm cận trở nên rõ ràng hơn!) $x$ $x$

Tôi sẽ nhắc lại tầm quan trọng của kết quả này: nếu không có nghĩa là 0, chúng ta có thể biến đổi nó bằng cách trừ để bây giờ nó được căn giữa. Nếu chúng ta điều chỉnh một đường hồi quy của trên độ dốc và các ước tính đánh chặn là không tương quan - thì việc đánh giá thấp hoặc đánh giá quá cao ở một điểm không có xu hướng đánh giá thấp hoặc đánh giá quá cao ở bên kia. Nhưng dòng hồi quy này chỉ đơn giản là bản dịch của dòng hồi quy trên ! Sai số chuẩn của các đánh chặn của trên dòng chỉ đơn giản là một biện pháp không chắc chắn của $x$ $\bar{x}$ $y$ $x - \bar{x}$ $y$ $x$ $y$ $x - \bar{x}$ $\hat y$ khi biến dịch của bạn ; khi dòng đó được dịch trở lại vị trí ban đầu của nó, trở lại trạng này để trở thành sai số chuẩn của tại . Tổng quát hơn, sai số chuẩn của tại bất kỳ giá trị chỉ là sai số chuẩn của các đánh chặn của hồi quy của trên một dịch một cách thích hợp ; sai số chuẩn của tại là tất nhiên sai số chuẩn của các đánh chặn trong bản gốc, hồi quy chưa được dịch. $x - \bar x = 0$ $\hat y$ $x = \bar x$ $\hat y$ $x$ $y$ $x$ $\hat y$ $x=0$

Vì chúng ta có thể dịch , trong một nghĩa nào đó không có gì là đặc biệt về và do đó không có gì đặc biệt về . Với một chút suy nghĩ, những gì tôi sắp nói công trình cho ở bất kỳ giá trị của , đó là hữu ích nếu bạn đang tìm kiếm cái nhìn sâu sắc vào khoảng tin cậy ví dụ cho câu trả lời trung bình từ đường hồi quy của bạn. Tuy nhiên, chúng ta đã thấy rằng có là một cái gì đó đặc biệt về tại , vì chính nơi đây mà sai sót trong chiều cao ước tính của đường hồi quy - đó là tất nhiên ước đạt $x$ $x=0$ $\hat \beta_0$ $\hat y$ $x$ $\hat y$ $x=\bar x$ - và các lỗi trong độ dốc ước tính của đường hồi quy không liên quan gì đến nhau. Đánh chặn ước tính của bạn là và sai sót trong tính toán của nó phải xuất phát từ một trong hai việc ước lượng hoặc việc ước lượng(vì chúng ta coilà không ngẫu nhiên); bây giờ chúng ta biết hai nguồn những lỗi không tương quan rõ ràng đại số lý do tại sao cần có một mối tương quan nghịch giữa độ dốc ước tính và đánh chặn (đánh giá quá cao dốc sẽ có xu hướng đánh chặn đánh giá thấp, chừng nào $\bar y$ $\hat \beta_0 = \bar y - \hat \beta_1 \bar x$ $\bar y$ $\hat \beta_1$ $x$ ) nhưng một mối tương quan tích cực giữa đánh chặn ước tính và dự kiến đáp ứng trung bình tại . Nhưng có thể thấy những mối quan hệ như vậy mà không có đại số quá. $\bar x < 0$ $\hat y = \bar y$ $x = \bar x$

Hãy tưởng tượng đường hồi quy ước tính như một thước đo. Người cai trị mà phải đi qua . Chúng ta vừa thấy rằng có hai yếu tố không chắc chắn về cơ bản không liên quan ở vị trí của đường này, mà tôi hình dung về mặt thẩm mỹ là độ không chắc chắn "xoắn" và độ không chắc chắn "trượt song song". Trước khi bạn xoay thước kẻ, giữ nó ở $(\bar x, \bar y)$ $(\bar x, \bar y)$ như một trục, sau đó cung cấp cho nó một twang thịnh soạn liên quan đến sự không chắc chắn của bạn trong độ dốc. Thước đo sẽ có độ lắc tốt, dữ dội hơn vì vậy nếu bạn không chắc chắn về độ dốc (thực sự, độ dốc dương trước đó sẽ hoàn toàn có thể bị âm nếu độ không chắc chắn của bạn lớn) nhưng lưu ý rằng chiều cao của đường hồi quy tại không thay đổi bởi loại không chắc chắn này, và hiệu ứng của twang đáng chú ý hơn nữa từ ý nghĩa mà bạn nhìn. $x=\bar x$

Để "trượt" thước, giữ chặt nó và di chuyển nó lên và xuống, chú ý giữ cho nó song song với vị trí ban đầu - không thay đổi độ dốc! Làm thế nào mạnh mẽ để dịch chuyển nó lên và xuống tùy thuộc vào mức độ không chắc chắn của bạn về chiều cao của đường hồi quy khi nó đi qua điểm trung bình; hãy nghĩ về lỗi tiêu chuẩn của đánh chặn sẽ là gì nếu đã được dịch sao cho -axis đi qua điểm trung bình. Ngoài ra, vì chiều cao ước tính của đường hồi quy ở đây chỉ đơn giản là , đó cũng là lỗi tiêu chuẩn của . Lưu ý rằng loại không chắc chắn "trượt" này ảnh hưởng đến tất cả các điểm trên đường hồi quy theo cách tương đương, không giống như "twang". $x$ $y$ $\bar y$ $\bar y$

Hai bất trắc áp dụng một cách độc lập (tốt, uncorrelatedly, nhưng nếu chúng ta giả định sai số phân phối bình thường sau đó họ nên được độc lập về mặt kỹ thuật) để chiều cao của tất cả các điểm trên đường hồi quy của bạn bị ảnh hưởng bởi một "twanging" không chắc chắn đó là zero tại có nghĩa là và trở nên tồi tệ hơn từ nó, và một sự không chắc chắn "trượt" giống nhau ở mọi nơi. (Bạn có thể thấy mối quan hệ với các khoảng tin cậy hồi quy mà tôi đã hứa trước đó, đặc biệt là độ rộng của chúng hẹp nhất ở không?) $\hat y$ $\bar x$

Điều này bao gồm sự không chắc chắn trong tại , trong đó chủ yếu là những gì chúng tôi có nghĩa là bởi sai số chuẩn trong . Bây giờ giả sử ở bên phải của ; sau đó vặn đồ thị lên độ dốc ước tính cao hơn có xu hướng giảm khả năng đánh chặn ước tính của chúng tôi vì một bản phác thảo nhanh sẽ tiết lộ. Đây là mối tương quan nghịch được dự đoán bởi $\hat y$ $x=0$ $\hat \beta_0$ $\bar x$ $x=0$ khidương. Ngược lại, nếulà bên trái củabạn sẽ thấy độ dốc ước tính cao hơn có xu hướng tăng đánh chặn ước tính của chúng tôi, phù hợp vớitương quandươngmà phương trình của bạn dự đoán khiâm. Lưu ý rằng nếulà một khoảng cách dài từ 0, phép ngoại suy của một đường hồi quy của độ dốc không chắc chắn ra về phía $\frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$ $\bar x$ $\bar x$ $x=0$ $\bar x$ $\bar x$ $y$ -axis ngày càng trở nên bấp bênh (biên độ của "twang" xấu đi khỏi giá trị trung bình). Các lỗi "twanging" trong hạn sẽ ồ ạt vượt lỗi "trượt" trong hạn, vì vậy các lỗi trong được gần như hoàn toàn xác định bởi bất kỳ lỗi trong . Như bạn có thể dễ dàng xác minh đại số, nếu chúng ta hãy mà không thay đổi MSD hoặc độ lệch chuẩn của lỗi , mối tương quan giữa $- \hat \beta_1 \bar x$ $\bar y$ $\hat \beta_0$ $\hat \beta_1$ $\bar x \to \pm \infty$ $s_u$ $\hat \beta_0$ có xu hướng. $\hat \beta_1$ $\mp 1$

Để minh họa điều này (Bạn có thể muốn nhấp chuột phải vào hình ảnh và lưu nó hoặc xem kích thước đầy đủ trong một tab mới nếu tùy chọn đó có sẵn cho bạn) Tôi đã chọn xem xét các lần lấy mẫu lặp lại của , trong đó là iid, trên một tập hợp các giá trị cố định với , do đó $y_i = 5 + 2x_i + u_i$ $u_i \sim N(0, 10^2)$ $x$ $\bar x = 10$ $\mathbb{E}(\bar y)=25$ . Trong thiết lập này, có một mối tương quan âm khá mạnh giữa độ dốc ước tính và đánh chặn và mối tương quan dương yếu hơn giữa , đáp ứng trung bình ước tính tại và đánh chặn ước tính. Hoạt hình cho thấy một số mẫu mô phỏng, với đường hồi quy mẫu (vàng) được vẽ trên đường hồi quy thật (màu đen). Các show hàng thứ hai những gì bộ sưu tập của dòng hồi quy ước lượng đã có thể nhìn như thế nào nếu có lỗi duy nhất trong ước tính và sườn phù hợp độ dốc đúng ( "trượt" lỗi); sau đó, nếu có lỗi chỉ ở sườn và $\bar y$ $x=\bar x$ $\bar y$ $\bar y$ phù hợp với giá trị dân số của nó (lỗi "twanging"); và cuối cùng, tập hợp các dòng ước tính thực sự trông như thế nào, khi cả hai nguồn lỗi được kết hợp. Chúng được mã hóa màu bằng kích thước của phần chặn được ước tính thực sự (không phải là phần chặn được hiển thị trên hai biểu đồ đầu tiên trong đó một trong các nguồn lỗi đã được loại bỏ) từ màu xanh lam cho phần chặn thấp thành màu đỏ cho phần chặn cao. Lưu ý rằng từ màu sắc một mình chúng ta có thể thấy rằng mẫu với thấp có xu hướng sản xuất hạ chặn ước tính, cũng như mẫu với độ cao $\bar y$ độ dốc ước tính. Hàng tiếp theo hiển thị các phân phối lấy mẫu mô phỏng (biểu đồ) và lý thuyết (đường cong thông thường) của các ước tính và hàng cuối cùng hiển thị các sơ đồ phân tán giữa chúng. Quan sát cách không có mối tương quan giữa và độ dốc ước tính, một mối tương quan nghịch giữa đánh chặn ước tính và độ dốc, và một tương quan tích cực giữa chặn và . $\bar y$ $\bar y$

MSD đang làm gì trong mẫu số của ? Lan rộng ra phạm vi củagiá trị bạn đo trên là nổi tiếng để cho phép bạn để ước lượng độ dốc một cách chính xác hơn, và trực giác là rõ ràng từ một phác thảo, nhưng nó không cho phép bạn ước tínhbất kỳ tốt hơn. Tôi đề nghị bạn hình dung việc đưa MSD về gần 0 (tức là các điểm lấy mẫu chỉ rất gần với giá trị trung bình của), để sự không chắc chắn của bạn trong độ dốc trở nên lớn: nghĩ rằng những khúc ngoặt lớn, nhưng không thay đổi độ không chắc chắn trượt của bạn. Nếu-axiscủa bạnlà bất kỳ khoảng cách nào từ(nói cách khác, nếu $\frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$ $x$ $\bar y$ $x$ $y$ $\bar x$ $\bar x \neq 0$ ) bạn sẽ thấy rằng sự không chắc chắn trong đánh chặn của bạn trở nên hoàn toàn bị chi phối bởi lỗi xoắn liên quan đến độ dốc. Ngược lại, nếu bạn tăng mức độ lan truyền của các phép đo của mình , mà không thay đổi giá trị trung bình, bạn sẽ cải thiện ồ ạt độ chính xác của ước tính độ dốc của mình và chỉ cần đưa các twang nhẹ nhàng nhất vào đường của bạn. Chiều cao đánh chặn của bạn hiện bị chi phối bởi độ không chắc chắn trượt của bạn, điều này không liên quan gì đến độ dốc ước tính của bạn. Kiểm đếm này với thực tế đại số mà mối tương quan giữa độ dốc ước tính và đánh chặn có xu hướng không như và khi , hướng tới $x$ $\MSD(x) \to \pm \infty$ $\bar x \neq 0$ $\pm 1$ (dấu hiệu ngược lại với dấu của ) là . $\bar x$ $\MSD(x) \to 0$

Tương quan độ dốc và ước lượng đánh chặn là một hàm của cả và MSD (hoặc RMSD) của , vậy làm thế nào để đóng góp tương đối của chúng tăng lên? Trên thực tế, tất cả những gì quan trọng là tỷ lệ so với RMSD của . Một trực giác hình học là RMSD cung cấp cho chúng ta một loại "đơn vị tự nhiên" cho ; nếu chúng ta rescale các trục sử dụng thì đây là một căng ngang mà lá đánh chặn ước tính và không thay đổi, cho chúng ta một mới $\bar x$ $x$ $\bar x$ $x$ $x$ $x$ $w_i = x_i / \RMSD(x)$ $\bar y$ và nhân độ dốc ước tính với RMSD của . Công thức cho mối tương quan giữa độ dốc mới và các công cụ ước tính đánh chặn chỉ dựa trên , là một và , là tỷ lệ $\RMSD(w)=1$ $x$ $\RMSD(w)$ $\bar w$ . Do ước tính đánh chặn không thay đổi và ước tính độ dốc chỉ nhân với hằng số dương, nên mối tương quan giữa chúng không thay đổi: do đó, mối tương quan giữađộ dốcban đầuvà đánh chặn cũng chỉ phụ thuộc vào $\frac{\bar x}{\RMSD(x)}$ . Theo đại số chúng ta có thể thấy điều này bằng cách chia đỉnh và đáy của $\frac{\bar x}{\RMSD(x)}$ bởiđể có được $\frac{-\bar x}{\sqrt{\MSD(x)+\bar{x}^2}}$ $\RMSD(x)$ . $\Corr\left(\hat \beta_0, \hat \beta_1 \right) = \frac{- (\bar x / \RMSD(x))}{\sqrt{1 + (\bar x / \RMSD(x))^2}}$

Để tìm mối tương quan giữa và , hãy xem xét . Bởi bilinearity của đây là $\hat \beta_0$ $\bar y$ $\DeclareMathOperator{\Cov}{Cov}\Cov(\hat \beta_0, \bar y)=\Cov(\bar y - \hat \beta_1 \bar x, \bar y)$ $\Cov$ $\Cov(\bar y, \bar y) - \bar x \Cov(\hat \beta_1, \bar y)$ . Nhiệm kỳ đầu tiên là trong khi thuật ngữ thứ hai chúng tôi thiết lập trước đó bằng không. Từ đó chúng tôi suy luận $\operatorname{Var}(\bar y)=\frac{\sigma_u^2}{n}$

Corr ({\hat{β}}_{0}, \bar{y}) = \frac{1}{\sqrt{1 + (\bar{x} / RMSD (x))^{2}}}

$\Corr(\hat \beta_0, \bar y)=\frac{1}{\sqrt{1 + (\bar x/\RMSD(x))^2}}$

Vì vậy, mối tương quan này cũng chỉ phụ thuộc vào tỷ lệ . Lưu ý rằng các ô vuông củavàcộng lại thành một: chúng tôi hy vọng điều này kể từ khitất cả cácbiến thể lấy mẫu (đối với cố định) tronglà do một trong hai thay đổi theo từng tronghoặc sự thay đổi trong , và các nguồn dao động được không tương quan với nhau. Dưới đây là một biểu đồ của các mối tương quan so với tỷ lệ $\frac{\bar x}{\RMSD(x)}$ $\Corr(\hat \beta_0, \hat \beta_1)$ $\Corr(\hat \beta_0, \bar y)$ $x$ $\hat \beta_0$ $\hat \beta_1$ $\bar y$ . $\frac{\bar x}{\RMSD(x)}$

Biểu đồ cho thấy rõ ràng khi cao so với RMSD , các lỗi trong ước tính chặn phần lớn là do lỗi trong ước tính độ dốc và hai tương quan chặt chẽ với nhau, trong khi khi thấp so với RMSD , đó là lỗi trong ước tính chiếm ưu thế, và mối quan hệ giữa đánh chặn và độ dốc yếu hơn. Lưu ý rằng mối tương quan của đánh chặn với độ dốc là một hàm lẻ của tỷ lệ $\bar x$ $\bar x$ $\bar y$ , vì vậy dấu của nó phụ thuộc vào dấu của và nó bằng 0 nếu, trong khi đó mối tương quan của đánh chặn với luôn dương và là hàm chẵn của tỷ lệ, nghĩa là không vấn đề về phía nào của-axis mà là. Các mối tương quan đều bình đẳng về độ lớn nếu là một RMSD khỏitrục, khi $\frac{\bar x}{\RMSD(x)}$ $\bar x$ $\bar x=0$ $\bar y$ $y$ $\bar x$ $\bar x$ $y$ và $\Corr(\hat \beta_0, \bar y)=\frac{1}{\sqrt{2}} \approx 0.707$ trong đó dấu đối diện với. Trong ví dụ trong mô phỏng ở trên,vànên giá trị trung bình là khoảngRMSD từ-axis; ở tỷ lệ này, mối tương quan giữa đánh chặn và độ dốc mạnh hơn, nhưng tương quan giữa đánh chặn vàvẫn không đáng kể. $\Corr(\hat \beta_0, \hat \beta_1)=\pm \frac{1}{\sqrt{2}} \approx \pm 0.707$ $\bar x$ $\bar x=10$ $\RMSD(x) \approx 5.16$ $1.93$ $y$ $\bar y$

Bên cạnh đó, tôi muốn nghĩ về công thức cho lỗi tiêu chuẩn của phần chặn,

s . e . ({\hat{β}}_{0}^{O L S}) = \sqrt{s_{u}^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{n MSD (x)})}

$\operatorname{s.e.}(\hat \beta_0^{OLS}) = \sqrt{s_u^2 \left( \frac{1}{n} + \frac{{\bar x}^2 }{n \MSD(x)} \right) }$

như , và như trên cho các công thức cho sai số chuẩn của tại(sử dụng cho khoảng tin cậy cho các phản ứng trung bình, và trong đó đánh chặn chỉ là một trường hợp đặc biệt như tôi đã giải thích trước đó qua một bản dịch tranh luận), $\sqrt{\text{sliding error} + \text{twanging error}}$ $\hat y$ $x = x_0$

s . e . (\hat{y}) = \sqrt{s_{u}^{2} (\frac{1}{n} + \frac{(x_{0} - \bar{x})^{2}}{n MSD (x)})}

$\operatorname{s.e.}(\hat y) = \sqrt{s_u^2 \left( \frac{1}{n} + \frac{(x_0 - \bar x)^2}{n \MSD(x)} \right) }$

Mã R cho các ô

require(graphics)
require(grDevices)
require(animation

#This saves a GIF so you may want to change your working directory
#setwd("~/YOURDIRECTORY")
#animation package requires ImageMagick or GraphicsMagick on computer
#See: http://www.inside-r.org/packages/cran/animation/docs/im.convert
#You might only want to run up to the "STATIC PLOTS" section
#The static plot does not save a file, so need to change directory.

#Change as desired
simulations <- 100 #how many samples to draw and regress on
xvalues <- c(2,4,6,8,10,12,14,16,18) #used in all regressions
su <- 10 #standard deviation of error term
beta0 <- 5 #true intercept
beta1 <- 2 #true slope
plotAlpha <- 1/5 #transparency setting for charts
interceptPalette <- colorRampPalette(c(rgb(0,0,1,plotAlpha),
            rgb(1,0,0,plotAlpha)), alpha = TRUE)(100) #intercept color range
animationFrames <- 20 #how many samples to include in animation

#Consequences of previous choices
n <- length(xvalues) #sample size
meanX <- mean(xvalues) #same for all regressions
msdX <- sum((xvalues - meanX)^2)/n #Mean Square Deviation
minX <- min(xvalues)
maxX <- max(xvalues)
animationFrames <- min(simulations, animationFrames)

#Theoretical properties of estimators
expectedMeanY <- beta0 + beta1 * meanX
sdMeanY <- su / sqrt(n) #standard deviation of mean of Y (i.e. Y hat at mean x)
sdSlope <- sqrt(su^2 / (n * msdX))
sdIntercept <- sqrt(su^2 * (1/n + meanX^2 / (n * msdX)))


data.df <- data.frame(regression = rep(1:simulations, each=n),
                      x = rep(xvalues, times = simulations))

data.df$y <- beta0 + beta1*data.df$x + rnorm(n*simulations, mean = 0, sd = su) 

regressionOutput <- function(i){ #i is the index of the regression simulation
  i.df <- data.df[data.df$regression == i,]
  i.lm <- lm(y ~ x, i.df)
  return(c(i, mean(i.df$y), coef(summary(i.lm))["x", "Estimate"],
          coef(summary(i.lm))["(Intercept)", "Estimate"]))
}

estimates.df <- as.data.frame(t(sapply(1:simulations, regressionOutput)))
colnames(estimates.df) <- c("Regression", "MeanY", "Slope", "Intercept")

perc.rank <- function(x) ceiling(100*rank(x)/length(x))
rank.text <- function(x) ifelse(x < 50, paste("bottom", paste0(x, "%")), 
                                paste("top", paste0(101 - x, "%")))
estimates.df$percMeanY <- perc.rank(estimates.df$MeanY)
estimates.df$percSlope <- perc.rank(estimates.df$Slope)
estimates.df$percIntercept <- perc.rank(estimates.df$Intercept)
estimates.df$percTextMeanY <- paste("Mean Y", 
                                    rank.text(estimates.df$percMeanY))
estimates.df$percTextSlope <- paste("Slope",
                                    rank.text(estimates.df$percSlope))
estimates.df$percTextIntercept <- paste("Intercept",
                                    rank.text(estimates.df$percIntercept))

#data frame of extreme points to size plot axes correctly
extremes.df <- data.frame(x = c(min(minX,0), max(maxX,0)),
              y = c(min(beta0, min(data.df$y)), max(beta0, max(data.df$y))))

#STATIC PLOTS ONLY

par(mfrow=c(3,3))

#first draw empty plot to reasonable plot size
with(extremes.df, plot(x,y, type="n", main = "Estimated Mean Y"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 estimates.df$Intercept, beta1, 
                 interceptPalette[estimates.df$percIntercept]))

with(extremes.df, plot(x,y, type="n", main = "Estimated Slope"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 expectedMeanY - estimates.df$Slope * meanX, estimates.df$Slope, 
                 interceptPalette[estimates.df$percIntercept]))

with(extremes.df, plot(x,y, type="n", main = "Estimated Intercept"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 estimates.df$Intercept, estimates.df$Slope, 
                 interceptPalette[estimates.df$percIntercept]))

with(estimates.df, hist(MeanY, freq=FALSE, main = "Histogram of Mean Y",
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdMeanY))))
curve(dnorm(x, mean=expectedMeanY, sd=sdMeanY), lwd=2, add=TRUE)

with(estimates.df, hist(Slope, freq=FALSE, 
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdSlope))))
curve(dnorm(x, mean=beta1, sd=sdSlope), lwd=2, add=TRUE)

with(estimates.df, hist(Intercept, freq=FALSE, 
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdIntercept))))
curve(dnorm(x, mean=beta0, sd=sdIntercept), lwd=2, add=TRUE)

with(estimates.df, plot(MeanY, Slope, pch = 16,  col = rgb(0,0,0,plotAlpha), 
                        main = "Scatter of Slope vs Mean Y"))

with(estimates.df, plot(Slope, Intercept, pch = 16, col = rgb(0,0,0,plotAlpha),
                        main = "Scatter of Intercept vs Slope"))

with(estimates.df, plot(Intercept, MeanY, pch = 16, col = rgb(0,0,0,plotAlpha),
                        main = "Scatter of Mean Y vs Intercept"))


#ANIMATED PLOTS

makeplot <- function(){for (i in 1:animationFrames) {

  par(mfrow=c(4,3))

  iMeanY <- estimates.df$MeanY[i]
  iSlope <- estimates.df$Slope[i]
  iIntercept <- estimates.df$Intercept[i]

  with(extremes.df, plot(x,y, type="n", main = paste("Simulated dataset", i)))
  with(data.df[data.df$regression==i,], points(x,y))
  abline(beta0, beta1, lwd = 2)
  abline(iIntercept, iSlope, lwd = 2, col="gold")

  plot.new()
  title(main = "Parameter Estimates")
  text(x=0.5, y=c(0.9, 0.5, 0.1), labels = c(
    paste("Mean Y =", round(iMeanY, digits = 2), "True =", expectedMeanY),
    paste("Slope =", round(iSlope, digits = 2), "True =", beta1),
    paste("Intercept =", round(iIntercept, digits = 2), "True =", beta0)))

  plot.new()
  title(main = "Percentile Ranks")
  with(estimates.df, text(x=0.5, y=c(0.9, 0.5, 0.1),
                          labels = c(percTextMeanY[i], percTextSlope[i],
                                     percTextIntercept[i])))


  #first draw empty plot to reasonable plot size
  with(extremes.df, plot(x,y, type="n", main = "Estimated Mean Y"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                   estimates.df$Intercept, beta1, 
                   interceptPalette[estimates.df$percIntercept]))
  abline(iIntercept, beta1, lwd = 2, col="gold")

  with(extremes.df, plot(x,y, type="n", main = "Estimated Slope"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                expectedMeanY - estimates.df$Slope * meanX, estimates.df$Slope, 
                interceptPalette[estimates.df$percIntercept]))
  abline(expectedMeanY - iSlope * meanX, iSlope,
         lwd = 2, col="gold")

  with(extremes.df, plot(x,y, type="n", main = "Estimated Intercept"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                   estimates.df$Intercept, estimates.df$Slope, 
                   interceptPalette[estimates.df$percIntercept]))
  abline(iIntercept, iSlope, lwd = 2, col="gold")

  with(estimates.df, hist(MeanY, freq=FALSE, main = "Histogram of Mean Y",
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdMeanY))))
  curve(dnorm(x, mean=expectedMeanY, sd=sdMeanY), lwd=2, add=TRUE)
  lines(x=c(iMeanY, iMeanY),
        y=c(0, dnorm(iMeanY, mean=expectedMeanY, sd=sdMeanY)),
        lwd = 2, col = "gold")

  with(estimates.df, hist(Slope, freq=FALSE, 
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdSlope))))
  curve(dnorm(x, mean=beta1, sd=sdSlope), lwd=2, add=TRUE)
  lines(x=c(iSlope, iSlope), y=c(0, dnorm(iSlope, mean=beta1, sd=sdSlope)),
        lwd = 2, col = "gold")

  with(estimates.df, hist(Intercept, freq=FALSE, 
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdIntercept))))
  curve(dnorm(x, mean=beta0, sd=sdIntercept), lwd=2, add=TRUE)
  lines(x=c(iIntercept, iIntercept),
        y=c(0, dnorm(iIntercept, mean=beta0, sd=sdIntercept)),
        lwd = 2, col = "gold")

  with(estimates.df, plot(MeanY, Slope, pch = 16,  col = rgb(0,0,0,plotAlpha), 
                          main = "Scatter of Slope vs Mean Y"))
  points(x = iMeanY, y = iSlope, pch = 16, col = "gold")

  with(estimates.df, plot(Slope, Intercept, pch = 16, col = rgb(0,0,0,plotAlpha),
                          main = "Scatter of Intercept vs Slope"))
  points(x = iSlope, y = iIntercept, pch = 16, col = "gold")

  with(estimates.df, plot(Intercept, MeanY, pch = 16, col = rgb(0,0,0,plotAlpha),
                          main = "Scatter of Mean Y vs Intercept"))
  points(x = iIntercept, y = iMeanY, pch = 16, col = "gold")

}}

saveGIF(makeplot(), interval = 4, ani.width = 500, ani.height = 600)

Đối với biểu đồ tương quan so với tỷ lệ so với RMSD: $\bar x$

require(ggplot2)

numberOfPoints <- 200
data.df  <- data.frame(
  ratio = rep(seq(from=-10, to=10, length=numberOfPoints), times=2),
  between = rep(c("Slope", "MeanY"), each=numberOfPoints))
data.df$correlation <- with(data.df, ifelse(between=="Slope",
  -ratio/sqrt(1+ratio^2),
  1/sqrt(1+ratio^2)))

ggplot(data.df, aes(x=ratio, y=correlation, group=factor(between),
                    colour=factor(between))) +
  theme_bw() + 
  geom_line(size=1.5) +
  scale_colour_brewer(name="Correlation between", palette="Set1",
                      labels=list(expression(hat(beta[0])*" and "*bar(y)),
                              expression(hat(beta[0])*" and "*hat(beta[1])))) +
  theme(legend.key = element_blank()) +
  ggtitle(expression("Correlation of intercept estimates with slope and "*bar(y))) +
  xlab(expression("Ratio of "*bar(X)/"RMSD(X)")) +
  ylab(expression(paste("Correlation")))

— Cá bạc
nguồn

"Twang" và "slide" là thuật ngữ của tôi. Đây là trực giác của riêng tôi, và không phải là thứ tôi từng thấy trong bất kỳ sách giáo khoa nào, mặc dù những ý tưởng cơ bản ở đây đều là tài liệu tiêu chuẩn. Goodness biết nếu có một tên kỹ thuật hơn "twang" và "slide"! Tôi dựa trên câu trả lời này, từ bộ nhớ, dựa trên câu trả lời cho một câu hỏi liên quan mà tôi chưa bao giờ hoàn thành để hoàn thiện và đăng bài. Điều đó có nhiều biểu đồ hướng dẫn hơn, (nếu tôi có thể theo dõi mã R trên máy tính cũ của mình hoặc tìm thời gian để sao chép) tôi sẽ thêm.

— Cá bạc

Thật là một công việc! Cảm ơn nhiều! Bây giờ sự hiểu biết của tôi phải ở trong hình dạng tốt hơn nhiều.

— Richard Hardy

@RichardHardy Tôi đã đặt một hình ảnh động mô phỏng vào, điều này phải làm cho mọi thứ rõ ràng hơn một chút.

— Cá bạc