11

Tôi không có định nghĩa chính thức về tương đương quy mô, nhưng đây là những gì Giới thiệu về Học thống kê nói về điều này trên trang. 217:

Các hệ số bình phương tối thiểu tiêu chuẩn ... là tương đương tỷ lệ : nhân với hằng số chỉ đơn giản dẫn đến một tỷ lệ ước tính hệ số bình phương nhỏ nhất với hệ số . $X_j$ $c$ $1/c$

Để đơn giản, hãy giả sử mô hình tuyến tính chung , trong đó , là ma trận (trong đó ) với tất cả các mục trong , và là một vectơ chiều gồm các biến ngẫu nhiên có giá trị thực với . $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ $\mathbf{y} \in \mathbb{R}^N$ $\mathbf{X}$ $N \times (p+1)$ $p+1 < N$ $\mathbb{R}$ $\boldsymbol\beta \in \mathbb{R}^{p+1}$ $\boldsymbol\epsilon$ $N$ $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$

Từ ước tính OLS, chúng tôi biết rằng nếu $\mathbf{X}$ có thứ hạng (cột) đầy đủ,

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ Giả sử chúng tôi đã nhân một cột của

X

$\mathbf{X}$ , giả sử

x_{k}

$\mathbf{x}_k$ cho một số

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ , bằng một hằng số

c \neq 0

$c \neq 0$ . Điều này sẽ tương đương với ma trận

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ trong đó tất cả các mục nhập khác của ma trận

S

$\mathbf{S}$ ở trên là

0

$0$ và

c

$c$ nằm trong mục thứ

k

$k$ của đường chéo của

S

$\mathbf{S}$ . Sau đó,

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ vì ma trận thiết kế mới là

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ Sau một số công việc, người ta có thể chỉ ra rằng

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} và

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Làm thế nào để tôi đi từ đây để hiển thị khiếu nại được trích dẫn ở trên (nghĩa là

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? Tôi không rõ cách tính toán

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ .

least-squares linear-model

— Clarinetist
nguồn

Tôi nghĩ rằng không đúng, nó thiếu một số nhân trong một hàng.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Ngoài ra, hãy nhớ rằng yêu cầu là , không phải mọi .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@Fireorms Yep, tôi chỉ cần tìm ra điều đó. Tôi đang đăng một câu trả lời.

— Clarinetist

2

Bạn có thể thay thế tất cả đại số này bằng phân tích đơn vị đơn giản hơn nhiều, vì nhân với chỉ thay đổi đơn vị đo lường của nó, và do đó, thay đổi tương ứng trong các đơn vị được liên kết với hệ số của nó là chia nó cho . Điều đó không chứng minh phải được chia cho , thật không may. Tuy nhiên, chuỗi suy nghĩ này có thể nhắc nhở chúng ta rằng nhiều hồi quy có thể được thực hiện bằng một chuỗi hồi quy chống lại một biến hồi quy tại một thời điểm, trong đó rõ ràng là được chia cho , và do đó bằng chứng đã hoàn thành.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— ai

@whuber, trong khi trực giác cho kết quả là rõ ràng, có vẻ như đơn giản là phải có một chút đại số trong việc cung cấp một bằng chứng. Rốt cuộc, hệ số tỷ lệ cần phải được đảo ngược.

c

$c$

— user795305

11

Vì khẳng định trong trích dẫn là tập hợp các câu lệnh về việc định cỡ lại các cột của , nên bạn cũng có thể chứng minh tất cả chúng cùng một lúc. Thật vậy, không cần phải làm gì thêm để chứng minh một khái quát của khẳng định: $X$

Khi được nhân phải bởi ma trận khả nghịch , thì ước tính hệ số mới bằng với nhân với . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

Các sự kiện đại số duy nhất bạn cần là (những điều dễ dàng được chứng minh, nổi tiếng) mà cho bất kỳ ma trận và cho các ma trận khả nghịch và . (Cần có phiên bản phụ của cái sau khi làm việc với các nghịch đảo tổng quát: cho và không thể đảo ngược và bất kỳ , . ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Chứng minh bằng đại số :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (Để bằng chứng này hoàn toàn tổng quát, siêu ký tự đề cập đến một nghịch đảo tổng quát.) $^-$

Chứng minh bằng hình học :

Cho các cơ sở và của và , tương ứng, đại diện cho một phép biến đổi tuyến tính từ sang . Phép nhân phải của với có thể được coi là cố định biến đổi này nhưng thay đổi thành (nghĩa là thành các cột của ). Theo sự thay đổi cơ sở đó, biểu diễn của bất kỳ vectơ phải thay đổi thông qua phép nhân trái của , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED .

(Bằng chứng này hoạt động, không thay đổi, ngay cả khi không thể đảo ngược.) $X^\prime X$

Báo giá đề cập cụ thể đến trường hợp ma trận đường chéo với cho và . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

Kết nối với bình phương tối thiểu

Mục tiêu ở đây là sử dụng các nguyên tắc đầu tiên để thu được kết quả, với nguyên tắc là bình phương tối thiểu: ước tính các hệ số làm giảm thiểu tổng bình phương của phần dư.

Một lần nữa, việc chứng minh một khái quát (rất lớn) chứng tỏ không còn khó khăn nữa và khá lộ liễu. Giả sử là bất kỳ bản đồ nào (tuyến tính hay không) của không gian vectơ thực và giả sử là bất kỳ hàm có giá trị thực nào trên . Đặt là tập hợp các điểm (có thể trống) mà được thu nhỏ.

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Kết quả: , được xác định duy nhất bởi và , không phụ thuộc vào bất kỳ lựa chọn cơ sở nào được sử dụng để biểu diễn các vectơ trong . $U$ $Q$ $\phi$ $E_p$ $V^p$

Chứng minh: QED.

Không có gì để chứng minh!

Áp dụng kết quả: Đặt là dạng bậc hai bán nguyệt dương trên , hãy để và giả sử là bản đồ tuyến tính được biểu thị bởi khi căn cứ của và được chọn. Xác định . Chọn một cơ sở của và giả sử là đại diện của một số trong cơ sở đó. Đây là bình phương tối thiểu : thu nhỏ khoảng cách bình phương . Vì $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ là một biến đổi tuyến tính, thay đổi cơ sở tương ứng với phải nhân bởi một số ma trận khả nghịch . Điều đó sẽ nhân trái với , QED . $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
nguồn

6

Xác định công cụ ước lượng bình phương nhỏ nhất , trong đó ma trận thiết kế là thứ hạng đầy đủ. Giả sử ma trận chia tỷ lệ là không thể đảo ngược. $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Xác định công cụ ước tính tỷ lệ mới này . Điều này có nghĩa là cho tất cả . Xác định , chúng ta có thể viết lại bất đẳng thức được hiển thị ở trên dưới dạng cho tất cả . Do đó và theo đó là công cụ ước lượng bình phương nhỏ nhất Do tính không khả dụng của ma trận chia tỷ lệ $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , theo sau đó . Trong trường hợp của chúng tôi, điều này chỉ khác với bởi mục nhập được chia tỷ lệ bởi .

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— người dùng795305
nguồn

1

Tôi không quen vì tôi nên làm việc với và các hàm tương tự - bạn có thể giải thích sự chuyển đổi từ dòng phương trình thứ hai sang thứ ba không?

arg min

$\text{arg min}$

— Clarinetist

Tôi đã viết nó một chút khác nhau, mà sẽ làm cho các bước rõ ràng hơn.

— user795305

Điều này thực sự thông minh. (+1)

— Clarinetist

4

Tôi đã tìm ra điều này sau khi đăng câu hỏi. Tuy nhiên, nếu công việc của tôi là chính xác, tôi đã hiểu sai yêu cầu. Tỷ lệ chỉ xảy ra trên một thành phần của tương ứng với cột của được nhân với . $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Lưu ý rằng , trong ký hiệu ở trên, là ma trận đường chéo, đối xứng và có nghịch đảo (vì nó là đường chéo) Lưu ý rằng là ma trận . Giả sử rằng $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ Do đó, và nhân số này với có tác dụng tương tự như việc nhân với đã làm - nó vẫn giữ nguyên, được nhân với

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : Do đó,

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ như mong muốn.

— Clarinetist
nguồn

Có một lỗi đánh máy trong . Bạn cần hoán vị .

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

Bằng chứng tầm thường nhất từng có

Bạn bắt đầu với phương trình tuyến tính của mình: Bây giờ bạn muốn thay đổi quy mô của các biến hồi quy của mình, có thể chuyển đổi từ hệ mét sang Imperial, bạn biết kilogam thành pound, mét sang yard, v.v. với ma trận chuyển đổi trong đó mỗi là hệ số chuyển đổi cho biến (cột) trong ma trận thiết kế .

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Hãy viết lại phương trình:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Bây giờ rất rõ ràng rằng tỷ lệ là thuộc tính của tuyến tính của phương trình của bạn, không phải là phương pháp ước tính hệ số OLS. Bất kể phương pháp ước lượng nào có phương trình tuyến tính, bạn đều biết rằng khi các biến hồi quy được chia tỷ lệ là các hệ số mới của bạn sẽ được chia tỷ lệ thành $XS$ $S^{-1}\beta$

Bằng chứng đại số chỉ cho OLS

Mở rộng quy mô là: nơi yếu tố quy mô của mỗi biến (cột), và là một phiên bản thu nhỏ của . Hãy gọi ma trận tỷ lệ đường chéo . Công cụ ước tính OLS của bạn là Hãy cắm ma trận tỷ lệ thay vì và sử dụng một số đại số ma trận : Vì vậy, bạn thấy hệ số mới chỉ đơn giản là hệ số cũ được thu nhỏ lại, như mong đợi.

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
nguồn

2

Tôi thích cách tiếp cận của bạn, nhưng không bị thuyết phục bởi "bằng chứng tầm thường nhất từng có." Bạn đã mặc nhiên giả định và vẫn cần phải trình bày rằng mô hình viết lại phải có cùng mức độ phù hợp với bản gốc. Để đặt nó chặt chẽ hơn: nếu chúng ta xem một quy trình phù hợp là một hàm , trong đó là tập hợp tất cả các dữ liệu có thể (mà chúng ta có thể viết là cặp theo thứ tự ) và là tập hợp tất cả các ước tính hệ số có thể, sau đó bạn cần chứng minh rằng cho tất cả các khả nghịch , tất cả , và tất cả . (Điều này không phải lúc nào cũng đúng!)

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— whuber

@whuber, thực ra đó là một cách khác: quy trình phù hợp hợp lý sẽ thỏa mãn điều kiện này, nếu không, việc thay đổi đơn vị đo lường đơn giản sẽ tạo ra một dự báo / ước tính khác. Tôi sẽ cập nhật câu trả lời của mình, sẽ suy nghĩ một chút

— Aksakal

Tôi đồng ý - nhưng tôi có thể tưởng tượng các trường hợp ngoại lệ trong trường hợp không đủ thứ hạng. Đó là những gì gợi ý cho tôi tình hình không quá tầm thường như nó có vẻ như vậy.

X

$X$

— whuber

3

hoàng người bạn đời, không phải hoàng ...: D (Nice câu trả lời, +1)

— usεr11852

@ usεr11852, hôm nay tôi đã học được vài thứ :)

— Aksakal

2

Một cách dễ dàng để có kết quả này là nhớ rằng là hình chiếu của trên không gian cột của là vectơ của các hệ số khi được biểu thị dưới dạng tuyến tính sự kết hợp của các cột của . Nếu một số cột được chia tỷ lệ theo hệ số , thì rõ ràng hệ số tương ứng trong tổ hợp tuyến tính phải được chia tỷ lệ . $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

Đặt là các giá trị của và là các giá trị của giải pháp OLS khi một cột được chia tỷ lệ theo $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

ngụ ý rằng trong đó và , giả sử rằng các cột của là độc lập tuyến tính. $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Jonny Lomond
nguồn

Cho thấy rằng công cụ ước tính OLS là quy mô tương đương?

Kết nối với bình phương tối thiểu

Bằng chứng tầm thường nhất từng có

Bằng chứng đại số chỉ cho OLS