Giả định phân phối dư

12

Tại sao cần phải đặt giả định phân phối cho các lỗi, nghĩa là

$y_i = X\beta + \epsilon_{i}$ , với. $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$

Tại sao không viết

$y_i = X\beta + \epsilon_{i}$ , với $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$ ,

trong đó trong cả hai trường hợp . Tôi đã thấy nó nhấn mạnh rằng các giả định phân phối được đặt trên các lỗi, không phải dữ liệu, nhưng không có lời giải thích. $\epsilon_i = y_i - \hat{y}$

Tôi không thực sự hiểu sự khác biệt giữa hai công thức này. Một số nơi tôi thấy các giả định phân phối được đặt trên dữ liệu (Bayesian lit. có vẻ như là chủ yếu), nhưng hầu hết các giả định được đặt vào các lỗi.

Khi lập mô hình, tại sao người ta nên / nên chọn bắt đầu với các giả định về cái này hay cái khác?

— hóa đơn
nguồn

Đầu tiên, nó không "cần thiết", nó phụ thuộc vào những gì bạn định làm. Có một số câu trả lời hay, nhưng tôi nghĩ mấu chốt là giả định cơ bản của quan hệ nhân quả, theo nghĩa của Xs "gây ra" y, và nếu bạn nhìn vào đó theo cách bạn thấy rằng sự phân phối của y là "gây ra" phân phối của rhs, nghĩa là Xs và các lỗi (nếu có). Bạn có thể thực hiện nhiều phép đo kinh tế lượng với các giả định phân phối rất hạn chế và đặc biệt, không có tính quy tắc. Cảm ơn Chúa.

— PatrickT

3

không phải là

, và giá trị trung bình dân số của

là không giống như các mẫu dự toán của nó. Mà là để nói rằng điều thứ hai không phải là thực sự là điều tương tự như người đầu tiên, nhưng nếu bạn thay thế nó với sự mong đợi của nó (

), hai sẽ tương đương.

\hat{y}

$\hat y$

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— Glen_b -Reinstate Monica

Là gì

? Và nếu

thay đổi theo

, tại sao không

khác nhau? Hãy ghi nhớ ký hiệu mà bạn muốn sử dụng, vectơ hoặc ma trận. Bây giờ nếu chúng ta giả định rằng

ký hiệu của bạn là hơn bizzare:

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$ , tức là bạn xác định phân phối của

theo chính nó và tất cả các quan sát khác

!

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas

1

Tôi đã đánh giá thấp câu hỏi vì tôi nghĩ rằng ký hiệu này gây nhầm lẫn và điều này đã dẫn đến một số câu trả lời mâu thuẫn tinh tế.

— mpiktas

9

Trong cài đặt hồi quy tuyến tính, thông thường phải phân tích và rút ra kết quả có điều kiện trên , tức là có điều kiện trên "dữ liệu". Vì vậy, những gì bạn cần là là bình thường, có nghĩa là, bạn cần là bình thường. Một ví dụ Peter Flom của minh họa, người ta có thể có bình thường của mà không cần phải bình thường của , và, do đó, vì những gì bạn cần là bình thường của , đó là giả định hợp lý. $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— ekvall
nguồn

8

Tôi sẽ viết định nghĩa thứ hai là

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

hoặc (như Karl Oskar gợi ý +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

tức là giả định mô hình hóa là biến trả lời thường được phân phối xung quanh đường hồi quy (là ước tính của giá trị trung bình có điều kiện), với phương sai không đổi . Điều này không giống với gợi ý rằng được phân phối bình thường, bởi vì giá trị trung bình của phân phối phụ thuộc vào . $\sigma^2$ $y_i$ $X_i$

Tôi nghĩ rằng tôi đã thấy các công thức tương tự như thế này trong máy học văn học; như xa như tôi có thể nhìn thấy nó tương đương với định nghĩa đầu tiên, tất cả tôi đã làm là để rexpress các công thức thứ hai một chút khác nhau để loại bỏ các 's và s. $\epsilon_i$ $\hat{y}$

— Sao Hỏa Dikran
nguồn

3

Sự khác biệt là dễ nhất để minh họa bằng một ví dụ. Đây là một cách đơn giản:

Giả sử Y là lưỡng kim, với phương thức chiếm bởi một biến độc lập. Ví dụ: giả sử Y là chiều cao và mẫu của bạn (vì bất kỳ lý do gì) bao gồm jockeys và cầu thủ bóng rổ. ví dụ như trongR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

mật độ đầu tiên là rất không bình thường. Nhưng phần dư từ mô hình cực kỳ gần với bình thường.

Về lý do tại sao các hạn chế được đặt theo cách này - tôi sẽ để người khác trả lời câu hỏi đó.

— Peter Flom - Tái lập Monica
nguồn

1

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

Trong trường hợp đó, tính không đồng nhất sẽ là một vấn đề và bạn sẽ cần sử dụng một số hình thức hồi quy khác, hoặc có thể là một số biến đổi, hoặc bạn có thể thêm một biến khác (trong ví dụ ngớ ngẩn này, vị trí chơi trong bóng rổ có thể làm điều đó).

— Peter Flom - Tái lập Monica

Tôi không chắc chắn công thức dự định đề xuất rằng các ys được phân phối bình thường, chỉ là chúng có phân phối có điều kiện bình thường.

— Dikran Marsupial

2

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

$\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$

Vì vậy, câu hỏi trở thành, có lý do để thích trình bày ý tưởng bằng cách sử dụng công thức đầu tiên?

Tôi nghĩ câu trả lời là có vì hai lý do:

$Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
$Y|\bf X$ $Y|\bf X$

Tôi tin rằng những niềm tin này có nhiều khả năng sử dụng công thức thứ hai hơn là lần đầu tiên.

— gung - Phục hồi Monica
nguồn

1

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$