Lý lịch

Giả sử chúng ta có mô hình Bình phương tối thiểu thông thường trong đó chúng ta có hệ số trong mô hình hồi quy của mình, $k$

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$

trong đó là một vectơ của các hệ số, là ma trận thiết kế được xác định bởi $\mathbf{\beta}$ $(k\times1)$ $\mathbf{X}$

X = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 (k - 1)} \\ 1 & x_{21} & \dots & ⋮ \\ ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & \dots & \dots & x_{n (k - 1)} \end{matrix})

$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$ và các lỗi là IID bình thường,

ϵ \sim N (0, σ^{2} I) .

$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$

Chúng tôi giảm thiểu các lỗi tổng bình phương bằng cách đặt ước tính của chúng tôi cho thành $\mathbf{\beta}$

\hat{β} = (X^{T} X)^{- 1} X^{T} y .

$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$

Công cụ ước tính không thiên vị của $\sigma^2$ là

s^{2} = \frac{{‖ y - \hat{y} ‖}^{2}}{n - p}

$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$ trong đó

\hat{y} \equiv X \hat{β}

$\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$ ( ref ).

Hiệp phương sai của $\mathbf{\hat{\beta}}$ được đưa ra bởi

Cov (\hat{β}) = σ^{2} C

$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$ trong đó

C \equiv (X^{T} X)^{- 1}

$\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ ( ref ).

Câu hỏi

Làm cách nào tôi có thể chứng minh rằng đối với $\hat\beta_i$ ,

\frac{{\hat{β}}_{i} - β_{i}}{s_{{\hat{β}}_{i}}} \sim t_{n - k}

$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$ trong đó

t_{n - k}

$t_{n-k}$ là một phân phối t với

(n - k)

$(n-k)$ bậc tự do và lỗi tiêu chuẩn của

{\hat{β}}_{i}

$\hat{\beta}_i$ được ước tính bởi

s_{{\hat{β}}_{i}} = s \sqrt{c_{i i}}

$s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$ .

Nỗ lực của tôi

Tôi biết rằng với biến ngẫu nhiên được lấy mẫu từ , bạn có thể hiển thị rằng bằng cách viết lại LHS thành và nhận ra rằng chữ số là phân phối chuẩn thông thường và mẫu số là căn bậc hai của phân phối Chi-vuông với df = (n-1) và chia cho (n- 1) (tham khảo ). Và do đó, nó tuân theo phân phối t với df = (n-1) ( ref ). $n$ $x\sim\mathcal{N}\left(\mu, \sigma^2\right)$

\frac{\bar{x} - μ}{s / \sqrt{n}} \sim t_{n - 1}

$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$

\frac{(\frac{\bar{x} - μ}{σ / \sqrt{n}})}{\sqrt{s^{2} / σ^{2}}}

$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$

Tôi không thể mở rộng bằng chứng này cho câu hỏi của mình ...

Có ý kiến gì không? Tôi biết câu hỏi này , nhưng họ không chứng minh rõ ràng, họ chỉ đưa ra một quy tắc, nói rằng "mỗi người dự đoán sẽ trả cho bạn một mức độ tự do".

— Garrett
nguồn

Vì là sự kết hợp tuyến tính của các biến Bình thường chung, nên nó có phân phối Bình thường. Do đó, tất cả những gì bạn cần làm là (1) thiết lập rằng ; (2) cho thấy là một công cụ ước tính không thiên vị của ; và (3) chứng minh mức độ tự do trong là . Cái sau đã được chứng minh trên trang này ở một số nơi, chẳng hạn như stats.stackexchange.com/a/16931 . Tôi nghi ngờ bạn đã biết cách làm (1) và (2).

{\hat{β}}_{i}

$\hat\beta_i$

E ({\hat{β}}_{i}) = β_{i}

$\mathbb{E}(\hat\beta_i)=\beta_i$

s_{{\hat{β}}_{i}}^{2}

$s_{\hat\beta_i}^2$

Var ({\hat{β}}_{i})

$\text{Var}(\hat\beta_i)$

s_{{\hat{β}}_{i}}

$s_{\hat\beta_i}$

n - k

$n-k$

— whuber

Vì chúng tôi biết rằng và do đó chúng tôi biết rằng với mỗi thành phần của , trong đó là phần tử đường chéo của . Do đó, chúng ta biết rằng

\begin{aligned} \hat{β} & = (X^{T} X)^{- 1} X^{T} Y \\ = (X^{T} X)^{- 1} X^{T} (X β + ε) \\ = β + (X^{T} X)^{- 1} X^{T} ε \end{aligned}

$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$

\hat{β} - β \sim N (0, σ^{2} (X^{T} X)^{- 1})

$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$

k

$k$

\hat{β}

$\hat\beta$

{\hat{β}}_{k} - β_{k} \sim N (0, σ^{2} S_{k k})

$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$

S_{k k}

$S_{kk}$

k^{th}

$k^\text{th}$

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

z_{k} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}} \sim N (0, 1) .

$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$

Hãy lưu ý đến tuyên bố của Định lý về phân phối một hình thức bậc hai bình thường trong một vectơ chuẩn thông thường (Định lý B.8 trong Greene):

Nếu và là đối xứng và idempotent, sau đó được phân phối nơi là bậc . $x\sim\mathcal{N}(0,I)$ $A$ $x^TAx$ $\chi^2_{\nu}$ $\nu$ $A$

Đặt biểu thị vectơ dư hồi quy và để là ma trận của nhà sản xuất còn lại (ví dụ ) . Thật dễ dàng để xác minh rằng là đối xứng và tạm thời . $\hat\varepsilon$

M = I_{n} - X (X^{T} X)^{- 1} X^{T},

$M=I_n - X(X^TX)^{-1}X^T \text{,}$

M y = \hat{ε}

$My=\hat\varepsilon$ $M$

Đặt là công cụ ước tính cho .

s^{2} = \frac{{\hat{ε}}^{T} \hat{ε}}{n - p}

$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$

σ^{2}

$\sigma^2$

Sau đó chúng ta cần phải làm một số đại số tuyến tính. Lưu ý ba thuộc tính đại số tuyến tính:

Thứ hạng của một ma trận idempotent là dấu vết của nó.
$\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
$\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ nếu là và là (thuộc tính này rất quan trọng để bên dưới hoạt động ) $A_1$ $n_1 \times n_2$ $A_2$ $n_2 \times n_1$

Vì vậy,

\begin{aligned} rank (M) = Tr (M) & = Tr (I_{n} - X (X^{T} X)^{- 1} X^{T}) \\ = Tr (I_{n}) - Tr (X (X^{T} X)^{- 1} X^{T})) \\ = Tr (I_{n}) - Tr ((X^{T} X)^{- 1} X^{T} X)) \\ = Tr (I_{n}) - Tr (I_{p}) \\ = n - p \end{aligned}

$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$

Sau đó

\begin{aligned} V = \frac{(n - p) s^{2}}{σ^{2}} = \frac{{\hat{ε}}^{T} \hat{ε}}{σ^{2}} = {(\frac{ε}{σ})}^{T} M (\frac{ε}{σ}) . \end{aligned}

$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$

Áp dụng Định lý cho phân phối một hình thức bậc hai bình thường trong một vectơ chuẩn thông thường (đã nêu ở trên), chúng ta biết rằng . $V \sim \chi^2_{n-p}$

Vì bạn cho rằng thường được phân phối, nên độc lập với và vì là một chức năng của , nên cũng độc lập với . Do đó, và độc lập với nhau. $\varepsilon$ $\hat\beta$ $\hat\varepsilon$ $s^2$ $\hat\varepsilon$ $s^2$ $\hat\beta$ $z_k$ $V$

Sau đó, là tỷ lệ của phân phối chuẩn thông thường với căn bậc hai của phân phối Chi bình phương với cùng một mức độ tự do (tức là ), đó là một đặc tính của phân phối . Do đó, thống kê có phân phối với bậc tự do.

\begin{aligned} t_{k} = \frac{z_{k}}{\sqrt{V / (n - p)}} \end{aligned}

$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$

n - p

$n-p$

t

$t$ $t_k$ $t$ $n-p$

Sau đó nó có thể được thao tác đại số thành một hình thức quen thuộc hơn.

\begin{aligned} t_{k} & = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}}}{\sqrt{\frac{(n - p) s^{2}}{σ^{2}} / (n - p)}} \\ = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{S_{k k}}}}{\sqrt{s^{2}}} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{s^{2} S_{k k}}} \\ = \frac{{\hat{β}}_{k} - β_{k}}{se ({\hat{β}}_{k})} \end{aligned}

$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$

— Điểm đánh dấu màu xanh
nguồn

Ngoài ra một câu hỏi phụ: đối với Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector, chúng ta cũng không cần đối xứng? Thật không may, tôi không có Greene, vì vậy tôi không thể thấy bằng chứng mặc dù tôi thấy Wikipedia có dạng giống như bạn . Tuy nhiên, một ví dụ ngược lại dường như là ma trận bình thường dẫn đến không phải là Chi-Squared vì nó có thể mang các giá trị âm. ..

A

$A$

A = (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix})

$A=\begin{pmatrix}1&1\\0&0\end{pmatrix}$

x_{1}^{2} + x_{1} x_{2}

$x_1^2+x_1 x_2$

— Garrett

@Garrett Lời xin lỗi của tôi, nên vừa đối xứng vừa bình dị. Một bằng chứng được cung cấp như Định lý 3 trong tài liệu này: www2.econ.iastate.edu/groupes/econ671/hallam/document/ , May mắn thay, là đối xứng cũng như bình thường.

A

$A$

M

$M$

— Điểm đánh dấu màu xanh

A

$A$ chỉ là một biểu diễn ma trận của một hình thức bậc hai. Mọi dạng bậc hai đều có biểu diễn đối xứng, do đó, yêu cầu đối xứng của được ngầm định trong phát biểu của định lý. (Mọi người không sử dụng ma trận bất đối xứng để biểu diễn các dạng bậc hai.) Do đó, dạng bậc hai được biểu thị duy nhất bởi ma trận không phải là idempotent.

A

$A$

(x_{1}, x_{2}) \to x_{1}^{2} + x_{1} x_{2}

$(x_1,x_2)\to x_1^2+x_1x_2$

A = (\begin{matrix} 1 & 1 / 2 \\ 1 / 2 & 0 \end{matrix})

$A=\begin{pmatrix}1&1/2\\1/2&0\end{pmatrix}$

— whuber

Tại sao ngụ ý độc lập với ? Không hoàn toàn theo đó.

ϵ \sim N (0, σ^{2})

$\epsilon\sim N(0,\sigma^2)$

\hat{β}

$\hat{\beta}$

\hat{ϵ}

$\hat{\epsilon}$

— Glassjawed

@Glassjawed Vì cả và là đa biến thường được phân phối, sau đó không tương quan ngụ ý độc lập. Sử dụng biểu thức và từ ở trên, chúng ta có thể chỉ ra rằng .

\hat{β}

$\hat{\beta}$

\hat{ε}

$\hat{\varepsilon}$

\hat{β} = β + {(X^{⊤} X)}^{- 1} X^{⊤} ε

$\hat{\beta} = \beta + \left(X^{\top}X\right)^{-1}X^{\top}\varepsilon$

\hat{ε} = M ε

$\hat{\varepsilon} = M\varepsilon$

Cov (\hat{β}, \hat{ε}) = 0_{p \times n}

$\operatorname{Cov}\left(\hat{\beta}, \hat{\varepsilon}\right) = \mathbf{0}_{p\times n}$

— rzch

Chứng minh rằng các hệ số trong mô hình OLS tuân theo phân phối t với (nk) bậc tự do

Lý lịch

Câu hỏi

Nỗ lực của tôi