Giải thích trực quan về

18

Nếu là thứ hạng đầy đủ, nghịch đảo của tồn tại và chúng tôi nhận được ước tính bình phương nhỏ nhất: và $X$ $X^TX$

\hat{β} = (X^{T} X)^{- 1} X Y

$\hat\beta = (X^TX)^{-1}XY$

Var (\hat{β}) = σ^{2} (X^{T} X)^{- 1}

$\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1}$

Làm thế nào chúng ta có thể giải thích bằng trực giác $(X^TX)^{-1}$ trong công thức phương sai? Kỹ thuật phái sinh là rõ ràng đối với tôi.

regression variance least-squares

— Daniel Yefimov
nguồn

3

Bạn có thể muốn thêm một ghi chú để chỉ ra rằng công thức bạn đã nêu cho ma trận hiệp phương sai của

\hat{β}

$\hat{\beta}$ - giả sử

\hat{β}

$\hat{\beta}$ được ước tính bởi OLS - chỉ đúng khi điều kiện của định lý Gauss-Markov được thỏa mãn và, đặc biệt, chỉ khi ma trận phương sai hiệp phương sai của các thuật ngữ lỗi được đưa ra bởi

σ^{2} I_{n}

$\sigma^2 I_n$ , trong đó

I_{n}

$I_n$ là ma trận nhận dạng

n \times n

$n\times n$ và

n

$n$ là số hàng của

X

$X$ (và

Y

$Y$ ). Công thức bạn cung cấp không chính xác cho trường hợp tổng quát hơn về các lỗi không phải hình cầu.

— Mico

13

Xem xét một hồi quy đơn giản không có thuật ngữ không đổi và trong đó hồi quy đơn được tập trung vào giá trị trung bình mẫu của nó. Khi đó $X'X$ là ( $n$ lần) phương sai mẫu của nó và $(X'X)^{-1}$ recirpocal của nó. Vì vậy, phương sai = biến thiên trong biến hồi quy càng cao, phương sai của công cụ ước lượng hệ số càng thấp: chúng ta càng có nhiều biến thiên trong biến giải thích, chúng ta càng có thể ước tính chính xác hơn hệ số chưa biết.

Tại sao? Bởi vì một biến hồi quy càng khác nhau, nó càng chứa nhiều thông tin. Khi các biến hồi quy là rất nhiều, điều này khái quát đến nghịch đảo của ma trận phương sai hiệp phương sai của chúng, cũng tính đến tính đồng biến của các biến hồi quy. Trong trường hợp cực đoan khi là đường chéo, thì độ chính xác cho từng hệ số ước tính chỉ phụ thuộc vào phương sai / biến thiên của biến hồi quy liên quan (với phương sai của thuật ngữ lỗi). $X'X$

— Alecos Papadopoulos
nguồn

Bạn có thể liên hệ lập luận này với thực tế là nghịch đảo của ma trận phương sai hiệp phương sai mang lại mối tương quan một phần ?

— Heisenberg

5

Một cách đơn giản để xem là tương tự ma trận (đa biến) của , đây là phương sai của hệ số độ dốc trong hồi quy OLS đơn giản. Người ta thậm chí có thể nhận được cho phương sai đó bằng cách sử dụng phương thức chặn trong mô hình, tức là bằng cách thực hiện hồi quy thông qua gốc. $\sigma^2 \left(\mathbf{X}^{T} \mathbf{X} \right)^{-1}$ $\frac{\sigma^2}{\sum_{i=1}^n \left(X_i-\bar{X}\right)^2}$ $\frac{\sigma^2}{\sum_{i=1}^n X_i^2}$

Từ một trong những công thức này, có thể thấy rằng sự biến thiên lớn hơn của biến dự đoán nói chung sẽ dẫn đến ước tính chính xác hơn về hệ số của nó. Đây là ý tưởng thường được khai thác trong thiết kế các thí nghiệm, trong đó bằng cách chọn các giá trị cho các yếu tố dự đoán (không ngẫu nhiên), người ta cố gắng đưa ra định thức của càng lớn càng tốt, yếu tố quyết định là thước đo độ biến thiên. $\left(\mathbf{X}^{T} \mathbf{X} \right)$

— JohnK
nguồn

2

Biến đổi tuyến tính của biến ngẫu nhiên Gaussian có giúp được không? Sử dụng các quy tắc mà nếu , sau đó . $x \sim \mathcal{N}(\mu,\Sigma)$ $Ax + b ~ \sim \mathcal{N}(A\mu + b,A^T\Sigma A)$

Giả sử, rằng là mô hình cơ bản và . $Y = X\beta + \epsilon$ $\epsilon \sim \mathcal{N}(0, \sigma^2)$

∴ Y \sim N (X β, σ^{2}) X^{T} Y \sim N (X^{T} X β, X σ^{2} X^{T}) (X^{T} X)^{- 1} X^{T} Y \sim N [β, (X^{T} X)^{- 1} σ^{2}]

$\therefore Y \sim \mathcal{N}(X\beta,\sigma^2)\\ X^TY \sim \mathcal{N}(X^TX\beta, X\sigma^2 X^T)\\ (X^TX)^{-1}X^TY \sim \mathcal{N}[\beta,(X^TX)^{-1} \sigma^2]$

Vì vậy, chỉ là một ma trận mở rộng quy mô phức tạp mà biến đổi sự phân bố của . $(X^TX)^{-1}X^T$ $Y$

Hy vọng rằng nó hữu ích.

— kedarps
nguồn

Không có gì trong đạo hàm của công cụ ước tính OLS và phương sai của nó đòi hỏi tính quy phạm của các điều khoản lỗi. Tất cả những gì cần thiết là và . (Tất nhiên, tính quy phạm được yêu cầu để cho thấy rằng OLS đạt được giới hạn thấp hơn của Cramer-Rao, nhưng đó không phải là những gì mà bài đăng của OP nói về, phải không?)

E (ε) = 0

$E(\varepsilon)=0$

E (ε ε^{T}) = σ^{2} I_{n}

$E(\varepsilon\varepsilon^T)=\sigma^2 I_n$

— Mico

2

Tôi sẽ có một cách tiếp cận khác để phát triển trực giác làm nền tảng cho công thức . Khi phát triển trực giác cho mô hình hồi quy bội, thật hữu ích khi xem xét mô hình hồi quy tuyến tính bivariate,viz. , $\text{Var}\,\hat{\beta}=\sigma^2 (X'X)^{-1}$ thường được gọi là sự đóng góp xác định để , và được gọi là đóng góp ngẫu nhiên. Biểu diễn theo độ lệch từ các phương tiện mẫu , mô hình này cũng có thể được viết như sau

y_{i} = α + β x_{i} + ε_{i}, i = 1, \dots, n .

$y_i=\alpha+\beta x_i + \varepsilon_i, \quad i=1,\ldots,n.$

α + β x_{i}

$\alpha+\beta x_i$

y_{i}

$y_i$

ε_{i}

$\varepsilon_i$

(\bar{x}, \bar{y})

$(\bar{x},\bar{y})$

(y_{i} - \bar{y}) = β (x_{i} - \bar{x}) + (ε_{i} - \bar{ε}), i = 1, \dots, n .

$(y_i-\bar{y}) = \beta(x_i-\bar{x})+(\varepsilon_i-\bar{\varepsilon}), \quad i=1,\ldots,n.$

Để giúp đỡ phát triển trực giác, chúng tôi sẽ giả định rằng đơn giản giả định Gauss-Markov được thỏa mãn: nonstochastic, cho tất cả , và cho tất cả . Như bạn đã biết rất rõ, những điều kiện này đảm bảo rằng $x_i$ $\sum_{i=1}^n(x_i-\bar{x})^2>0$ $n$ $\varepsilon_i \sim \text{iid}(0,\sigma^2)$ $i=1,\ldots,n$ trong đó

Var \hat{β} = \frac{1}{n} σ^{2} (Var x)^{- 1},

$\text{Var}\,\hat{\beta}=\tfrac{1}{n}\sigma^2(\text{Var}\,x)^{-1}\text{,}$

là phương sai mẫu của

. Nói cách, công thức này làm cho ba tuyên bố: "Các phương sai của

là tỉ lệ nghịch với cỡ mẫu

, đó là tỷ lệ thuận với sự thay đổi của

, và nó là tỷ lệ nghịch với sự thay đổi của

."

Var x

$\text{Var}\,x$

x

$x$

\hat{β}

$\hat{\beta}$

n

$n$

ε

$\varepsilon$

x

$x$

Tại sao nên tăng gấp đôi kích thước mẫu, ceteris tố khác không đổi , nguyên nhân phương sai của được cắt giảm một nửa? Kết quả này được gắn liền với giả định iid áp dụng cho : Kể từ khi lỗi cá nhân được giả định là iid, mỗi quan sát cần được điều trị ex ante như là bình đẳng thông tin. Và, nhân đôi số lượng quan sát nhân đôi lượng thông tin về các tham số mô tả mối quan hệ (giả định tuyến tính) giữa và . Có gấp đôi số thông tin sẽ giảm sự không chắc chắn về các tham số xuống một nửa. Tương tự, cần đơn giản để phát triển trực giác của một người về lý do nhân đôi $\hat{\beta}$ $\varepsilon$ $x$ $y$ cũng tăng gấp đôi phương sai của . $\sigma^2$ $\hat{\beta}$

Hãy lần lượt, sau đó, cho câu hỏi chính của bạn, đó là về phát triển trực giác đối với khiếu nại rằng phương sai của là tỷ lệ nghịch với sự thay đổi của . Để chính thức hóa các khái niệm, chúng ta hãy xem xét hai mô hình hồi quy tuyến tính bivariate riêng biệt, được gọi là Model và Model kể từ bây giờ. Chúng tôi sẽ cho rằng cả hai mô hình đáp ứng các giả định của hình thức đơn giản nhất của định lý Gauss-Markov và các mô hình chia sẻ cùng các giá trị chính xác của , , , và . Theo các giả định này, thật dễ dàng để chỉ ra rằng $\hat{\beta}$ $x$ $(1)$ $(2)$ $\alpha$ $\beta$ $n$ $\sigma^2$ ; trong các từ, cả hai công cụ ước tính đều không thiên vị. Quan trọng hơn, chúng tôi cũng sẽ cho rằng trong khi , $\text{E}\,\hat{\beta}{}^{(1)}=\text{E}\,\hat{\beta}{}^{(2)}=\beta$ $\bar{x}^{(1)}=\bar{x}^{(2)}=\bar{x}$ . Không mất tính tổng quát, chúng ta hãy giả sử rằng $\text{Var}\,x^{(1)}\ne \text{Var}\,x^{(2)}$ . Những ước lượng của sẽ có phương sai nhỏ hơn? Nói cách khác, sẽ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $\hat{\beta}$ hoặc $\hat{\beta}{}^{(1)}$ gần hơn,trung bình, đến? Từ cuộc thảo luận trước đó, chúng ta có $\hat{\beta}{}^{(2)}$ $\beta$ cho. Vì $\text{Var}\,\hat{\beta} {}^{(k)} =\tfrac{1}{n}\sigma^2/\text{Var}\,x{}^{(k)})$ $k=1,2$ theo giả định, theo sau $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ . Vậy thì, trực giác đằng sau kết quả này là gì? $\text{Var}\,\hat{\beta}{}^{(1)} <\text{Var}\,\hat{\beta}{}^{(2)}$

Bởi vì theo giả định , trung bình mỗi sẽxatừ hơn là trường hợp, trung bình, cho . Hãy để chúng tôi biểu thị sự khác biệt tuyệt đối trung bình dự kiến giữa và bởi . Giả định rằng $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $x_i^{(1)}$ $\bar{x}$ $x_i^{(2)}$ $x_i$ $\bar{x}$ $d_x$ ngụ ý rằng . Mô hình hồi quy tuyến tính bivariate, được biểu thị bằng độ lệch so với phương tiện, nói rằng cho Model và cho Model . Nếu $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $d_x^{(1)} >d_x^{(2)}$ $d_y = \beta d_x^{(1)}$ $(1)$ $d_y = \beta d_x^{(2)}$ $(2)$ $\beta\ne0$ , Điều này có nghĩa rằng các thành phần xác định của mô hình , , có một ảnh hưởng lớn hơn trên hơn hiện các thành phần xác định của mô hình , . Nhớ lại rằng cả hai mô hình được giả định để đáp ứng các giả định Gauss-Markov, trong đó phương sai lỗi đều giống nhau ở cả hai mô hình, và đó là . Kể từ khi làm người mẫu $(1)$ $\beta d_x^{(1)}$ $d_y$ $(2)$ $\beta d_x^{(2)}$ $\beta^{(1)}=\beta^{(2)}=\beta$ nhiều thông tin hơn về sự đóng góp của thành phần xác định của so với Mô hình , theo đóđộ chính xácmà đóng góp xác định có thể được ước tính là lớn hơn đối với Mô hình so với Mô hình . Các converse chính xác hơn là một sai dưới của ước lượng điểm của . $(1)$ $y$ $(2)$ $(1)$ $(2)$ $\beta$

Một cách hợp lý là đơn giản để khái quát hóa trực giác thu được từ việc nghiên cứu mô hình hồi quy đơn giản đến mô hình hồi quy tuyến tính đa biến. Biến chứng chính là thay vì so sánh phương sai vô hướng, cần phải so sánh "kích thước" của ma trận phương sai - hiệp phương sai. Có kiến thức làm việc tốt về các yếu tố quyết định, dấu vết và giá trị bản địa của ma trận đối xứng thực sự rất hữu ích tại thời điểm này :-)

— Mico
nguồn

1

Giả sử chúng ta có quan sát (hoặc cỡ mẫu) và tham số . $n$ $p$

Hiệp phương sai ma trận của các thông số ước tính vv là một biểu tượng của tính chính xác của các thông số ước tính. $\operatorname{Var}(\hat{\beta})$ $\hat{\beta}_1,\hat{\beta}_2$

Nếu trong một thế giới lý tưởng, dữ liệu có thể được mô hình hoàn hảo mô hình, thì tiếng ồn sẽ là . Bây giờ, các mục đường chéo của tương ứng với , vv Các công thức có nguồn gốc cho phương sai đồng ý với trực giác rằng nếu tiếng ồn thấp, ước tính sẽ có nhiều chính xác $\sigma^2= 0$ $\operatorname{Var}(\hat{\beta})$ $\operatorname{Var}(\hat{\beta_1}),\operatorname{Var}(\hat{\beta_2})$

Ngoài ra, khi số lượng phép đo trở nên lớn hơn, phương sai của các tham số ước tính sẽ giảm. Vì vậy, tổng giá trị tuyệt đối của các mục của sẽ cao hơn, vì số cột của là và số hàng của là và mỗi mục của là tổng của sản phẩm cặp. Giá trị tuyệt đối của các mục nhập nghịch đảo sẽ thấp hơn. $X^TX$ $X^T$ $n$ $X$ $n$ $X^TX$ $n$ $(X^TX)^{-1}$

Do đó, ngay cả khi có nhiều nhiễu, chúng ta vẫn có thể đạt được ước tính tốt của các tham số nếu chúng ta tăng kích thước mẫu . $\hat{\beta_i}$ $n$

Tôi hi vọng cái này giúp được.

Tham khảo: Phần 7.3 về bình phương tối thiểu: Cosentino, Carlo và Declan Bates. Kiểm soát phản hồi trong hệ thống sinh học. Báo chí Crc, 2011.

— Dilly Minch
nguồn

1

Điều này được xây dựng dựa trên câu trả lời của @Alecos Papadopuolos.

Hãy nhớ lại rằng kết quả của hồi quy bình phương nhỏ nhất không phụ thuộc vào đơn vị đo lường các biến của bạn. Giả sử biến X của bạn là số đo chiều dài, tính bằng inch. Sau đó, thay đổi kích thước X, bằng cách nhân 2,54 để thay đổi đơn vị thành centimet, không ảnh hưởng trọng yếu đến mọi thứ. Nếu bạn chỉnh lại mô hình, ước tính hồi quy mới sẽ là ước tính cũ chia cho 2,54.

Các ma trận là phương sai của X, và do đó phản ánh quy mô của đo lường của X. Nếu bạn thay đổi quy mô, bạn phải phản ánh điều này trong dự toán của bạn của , và điều này được thực hiện bằng cách nhân với các nghịch đảo của . $X'X$ $\beta$ $X'X$

— Hồng Ooi
nguồn