Giải thích hiệp phương sai của các hệ số hồi quy là gì?

Hàm lm trong R có thể in ra hiệp phương sai ước tính của các hệ số hồi quy. Thông tin này cung cấp cho chúng tôi những gì? Bây giờ chúng ta có thể giải thích mô hình tốt hơn hoặc chẩn đoán các vấn đề có thể có trong mô hình không?

r multiple-regression least-squares

— ms
nguồn

Giải thích tương tự như tất cả các hiệp phương sai khác --- cộng hưởng tuyến tính? Việc sử dụng chính là để tính toán phương sai của các tương phản quan tâm đã chọn, ví dụ để kiểm tra độ tương phản.

— kjetil b halvorsen 15/05/2015

Câu trả lời:

Việc sử dụng cơ bản nhất của ma trận hiệp phương sai là thu được các lỗi tiêu chuẩn của ước tính hồi quy. Nếu nhà nghiên cứu chỉ quan tâm đến các lỗi tiêu chuẩn của chính các tham số hồi quy riêng lẻ, họ có thể chỉ cần lấy căn bậc hai của đường chéo để có được các lỗi tiêu chuẩn riêng.

Tuy nhiên, thường thì bạn có thể quan tâm đến sự kết hợp tuyến tính của các tham số hồi quy. Ví dụ: nếu bạn có một biến chỉ báo cho một nhóm nhất định, bạn có thể quan tâm đến ý nghĩa của nhóm, đó sẽ là

. $\beta_0 + \beta_{\rm grp}$

Sau đó, để tìm lỗi tiêu chuẩn cho giá trị trung bình ước tính của nhóm đó, bạn sẽ có

$\sqrt{X^\top S X}$ ,

Trong đó là một vectơ tương phản của bạn và là ma trận hiệp phương sai. Trong trường hợp của chúng tôi, nếu chúng tôi chỉ có phép cộng "grp", thì ( cho phần chặn, $X$ $S$ $X = (1,1)$ $1$ cho thuộc về nhóm). $1$

Hơn nữa, ma trận hiệp phương sai (hoặc hơn, ma trận tương quan, được xác định duy nhất từ ma trận hiệp phương sai nhưng không phải ngược lại) có thể rất hữu ích cho chẩn đoán mô hình nhất định. Nếu hai biến có mối tương quan cao, một cách để nghĩ về nó là mô hình đang gặp khó khăn trong việc tìm ra biến nào chịu trách nhiệm cho một hiệu ứng (vì chúng có liên quan chặt chẽ với nhau). Điều này có thể hữu ích cho nhiều trường hợp khác nhau, chẳng hạn như chọn tập hợp con của hiệp phương sai để sử dụng trong mô hình dự đoán; nếu hai biến có tương quan cao, bạn có thể chỉ muốn sử dụng một trong hai biến trong mô hình dự đoán của mình.

— Vách đá AB
nguồn

Cám ơn vì đã giải thích. Trong đoạn cuối của bạn, bạn đang mô tả các vấn đề có thể phát sinh khi các biến độc lập có tính cộng tác cao. Nó có vẻ như nó sẽ được dễ dàng hơn để xem xét các hiệp phương sai / tương quan của thực tế

s hơn

có một nghịch đảo trong công thức.

X

$X$

β

$\beta$

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

— mss

Có hai "loại" hệ số hồi quy:

$\beta$ $c$
$b$ $\hat \beta$ $c$

$X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

$b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$ .

$b_1$ $b_1$ cao so với sai số chuẩn của nó" và hiệp phương sai của chúng là "cao" có nghĩa là "cao so với sản phẩm của các lỗi tiêu chuẩn của chúng". Một cách để làm dịu những trục trặc diễn giải này là chuẩn hóa từng đầu vào hồi quy bằng cách chia cho độ lệch chuẩn của nó (hoặc hai độ lệch chuẩn trong một số trường hợp).

Một người dùng trên trang này đã mô tả $\mathrm{Cov}\left(b_1,b_2\right)$ là "một chút sai lầm", nhưng tôi không hoàn toàn đồng ý. Đối với một điều, bạn có thể sử dụng cách giải thích này để đưa ra các linh mục thông tin trong hồi quy Bayes.

Đối với những gì nó thực sự được sử dụng cho, câu trả lời của Cliff AB là một bản tóm tắt tốt.

— bóng tối
nguồn

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

@whuber cảm ơn, và tôi đã thực sự viết "tương quan" tại một thời điểm. Tôi sẽ dọn dẹp nó khi tôi tắt điện thoại

— Shadowtalker

Vì tôi có thể không quay lại chủ đề này trong một thời gian, +1 trước cho các chỉnh sửa!

— whuber

đã phạm sai lầm tương tự trong mô tả của tôi!

— Vách đá AB

@whuber bây giờ tôi thực sự đoán thứ hai sự hiểu biết của tôi về hiệp phương sai. Có phải vấn đề của tôi chỉ là tôi đã không nhấn mạnh thực tế là quy mô có thể khác đi, hay tôi đang thiếu thứ gì khác? Tôi đã xem qua lời giải thích "hộp" của bạn và tôi không thấy đó có thể là gì

— Shadowtalker