Liệu nó có ý nghĩa để nghiên cứu các lô của phần dư đối với biến phụ thuộc?

Tôi muốn biết liệu có hợp lý khi nghiên cứu các lô của phần dư đối với biến phụ thuộc hay không khi tôi có hồi quy đơn biến. Nếu nó có ý nghĩa, thì mối tương quan mạnh mẽ, tuyến tính, tăng trưởng giữa các phần dư (trên trục y) và các giá trị ước tính của biến phụ thuộc (trên trục x) có nghĩa là gì?

Giả sử rằng bạn có hồi quy , nơi β 1 ≈ 0 . Sau đó, y i - β 0 ≈ ε i . Giá trị y càng cao , phần dư càng lớn. Ngược lại, một âm mưu của phần dư chống lại x sẽ không cho thấy mối quan hệ hệ thống. Ngoài ra, giá trị dự đoán y i nên vào khoảng β$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\beta_1 \approx 0$$y_i - \beta_0 \approx \epsilon_i$$y$$x$$\hat{y}_i$$\hat{\beta}_0$--- giống nhau cho mọi quan sát. Nếu tất cả các giá trị dự đoán gần như giống nhau, chúng sẽ không tương thích với các lỗi.

Điều mà cốt truyện đang nói với tôi là và y về cơ bản không liên quan (tất nhiên, có nhiều cách tốt hơn để thể hiện điều này). Cho chúng tôi biết nếu hệ số của bạn beta 1 không phải là gần 0.$x$$y$$\hat{\beta}_1$

Khi chẩn đoán tốt hơn, sử dụng một biểu đồ của phần dư so với mức lương dự đoán hoặc so với giá trị . Bạn không nên quan sát một mô hình có thể phân biệt trong các ô này.$x$

Nếu bạn muốn trình diễn R một chút, ở đây bạn đi:

y      <- rnorm(100, 0, 5)
x      <- rnorm(100, 0, 2)
res    <- lm(y ~ x)$residuals
fitted <- lm(y ~ x)$fitted.values
plot(y, res)
plot(x, res)
plot(fitted, res)

Giả sử mô hình ước tính được chỉ định chính xác ...

$P_X=X(X'X)^{-1}X'$$P_X$$P_X^2=P_X$$P_X'=P_X$

$Cov(\hat{Y},\hat{e})=Cov(P_XY,(I-P_X)Y)=P_XCov(Y,Y)(I-P_X)'=\sigma^2P_X(I-P_X)=0$

Vì vậy, biểu đồ phân tán của phần dư so với biến phụ thuộc dự đoán sẽ không hiển thị tương quan.

Nhưng!

$Cov(Y,\hat{e})=Cov(Y,(I-P_X)Y)=Cov(Y,Y)(I-P_X)'=\sigma^2(I-P_X)$

$\sigma^2(I-P_X)$

Theo như tôi biết thì Gretl tạo ra theo mặc định đồ thị của phần dư so với biến phụ thuộc ban đầu (không phải là dự đoán!).

Có thể bạn đang nhầm lẫn giữa các giá trị được trang bị / dự đoán với các giá trị thực tế?

Như @gung và @biostat đã nói, bạn hy vọng không có mối quan hệ nào giữa các giá trị được trang bị và phần dư. Mặt khác, việc tìm kiếm một mối quan hệ tuyến tính giữa các giá trị thực tế của biến phụ thuộc / kết quả và phần dư sẽ được dự kiến ​​và không đặc biệt nhiều thông tin.

Đã thêm vào để làm rõ câu trước: Không chỉ có bất kỳ mối quan hệ tuyến tính nào giữa phần dư và giá trị thực của xuất phát ... Đối với các giá trị đo lường thấp của Y, các giá trị dự đoán của Y từ một mô hình hữu ích sẽ có xu hướng cao hơn các giá trị đo thực tế và ngược lại.

Các câu trả lời được đưa ra đang cho tôi một số ý tưởng về những gì đang diễn ra ở đây. Tôi tin rằng có thể đã có một số sai lầm do tai nạn. Xem câu chuyện sau có hợp lý không: Để bắt đầu, tôi nghĩ có lẽ có mối quan hệ chặt chẽ giữa X & Y trong dữ liệu (đây là một số mã và cốt truyện):

set.seed(5)
wage <- rlnorm(1000, meanlog=2.3, sdlog=.5)
something_else <- .7*wage + rnorm(1000, mean=0, sd=1)
plot(wage, something_else, pch=3, col="red", main="Plot X vs. Y")

Nhưng do nhầm lẫn Y đã được dự đoán chỉ từ trung bình. Kết hợp điều này, phần dư từ mô hình duy nhất trung bình được vẽ dựa trên X, mặc dù mục đích của nó là âm mưu chống lại các giá trị được trang bị (mã & lô):

meanModel <- lm(something_else~1)
windows()
plot(wage, meanModel$residuals, pch=3, col="red", 
    main="Plot of residuals from Mean only Model against X")
abline(h=0, lty="dotted")

Chúng ta có thể khắc phục điều này bằng cách khớp mô hình thích hợp và vẽ các phần dư từ đó (mã & lô):

appropriateModel <- lm(something_else~wage)
windows()
plot(appropriateModel$fitted.values, appropriateModel$residuals, pch=3, col="red",
main="Plot of residuals from the appropriate\nmodel against fitted values")
lines(lowess(appropriateModel$residuals~appropriateModel$fitted.values))

Đây có vẻ như chỉ là những kiểu ngốc nghếch tôi đã làm khi tôi bắt đầu.

Biểu đồ này chỉ ra rằng mô hình bạn trang bị không tốt. Như @gung đã nói trong các bình luận đầu tiên về câu hỏi chính rằng không nên có mối quan hệ nào giữa câu trả lời được xác định và phần dư.

"một nhà phân tích nên mong đợi một mô hình hồi quy sẽ sai khi dự đoán một phản ứng theo kiểu ngẫu nhiên; mô hình nên dự đoán các giá trị cao hơn thực tế và thấp hơn thực tế với xác suất bằng nhau. Xem điều này "

Tôi muốn giới thiệu phản ứng cốt truyện đầu tiên so với biến độc lập để xem mối quan hệ giữa chúng. Có thể hợp lý khi thêm các thuật ngữ đa thức trong mô hình.

Đây không phải là những gì xảy ra nếu không có mối quan hệ giữa biến X & Y sao? Từ việc nhìn vào biểu đồ này, có vẻ như bạn đang dự đoán Y với ý nghĩa của nó.

Tôi nghĩ OP âm mưu dư so với biến phản hồi ban đầu (không phải biến phản hồi được trang bị từ mô hình). Tôi thấy các lô như thế này mọi lúc, với mô hình chính xác gần như giống nhau. Hãy chắc chắn rằng bạn vẽ các phần dư so với các giá trị được trang bị, vì tôi không chắc những suy luận có ý nghĩa nào bạn có thể thu thập từ phần dư so với Y ban đầu. Nhưng tôi chắc chắn có thể sai.