Phân rã độ lệch bình phương trung bình (trong các yếu tố của học thống kê)

Tôi không thể tìm ra công thức 7.14 trên trang 224 của Yếu tố học tập thống kê được rút ra như thế nào . Bất cứ ai có thể giúp tôi tìm ra nó?

Average squared bias = Average [model bias]^{2} + Average [estimation bias]^{2}

$\textrm{Average squared bias} = \textrm{Average}[\textrm{model bias}]^2 + \textrm{Average}[\textrm{estimation bias}]^2$

— chàng trai
nguồn

Rob J. Hyndman có một bằng chứng trong bài đăng trên blog của mình "Sự phân rã phương sai" . Đây có phải là một trong những bạn đang tìm kiếm? <...> Đã nhìn lại lần nữa, không, có lẽ là không.

— Richard Hardy

Kết quả về cơ bản là do tính chất của công cụ ước tính tuyến tính tốt nhất. Lưu ý rằng chúng tôi không giả định $f(X)$ là tuyến tính ở đây. Tuy nhiên, chúng ta có thể tìm thấy dự đoán tuyến tính gần đúng $f$ tốt nhất.

Nhớ lại định nghĩa của $\beta_*$ : $\beta_{*} = \arg\min_\beta E{[(f(X) - X^T \beta)^2]}$ . Chúng ta có thể rút ra công cụ ước tính lý thuyết cho : trong đó chúng tôi đã giả sử là không thể đảo ngược. Tôi gọi nó là công cụ ước tính lý thuyết vì chúng ta không bao giờ biết (trong các tình huống trong thế giới thực) dù sao đi nữa, phân phối biên của X, hoặc , vì vậy chúng ta sẽ không biết những kỳ vọng đó. Bạn vẫn nên nhớ lại sự giống nhau của công cụ ước tính này với công cụ ước lượng bình phương nhỏ nhất (nếu bạn thay bằng $\beta_*$

\begin{aligned} g (β) & = E [(f (X) - X^{T} β)^{2}] = E [f^{2} (X)] - 2 β^{T} E [X f (X)] + β^{T} E [X X^{T}] β \\ ⟹ \frac{\partial g (β)}{\partial β} = - 2 E [X f (X)] + 2 E [X X^{T}] β = 0 \\ ⟹ β_{*} = E [X X^{T}]^{- 1} E [X f (X)], \end{aligned}

$\begin{align*} g(\beta) &= E[(f(X) - X^T \beta)^2] = E [f^2(X)] - 2\beta^T E[Xf(X)] + \beta^T E[XX^T]\beta \\ &\implies \frac{\partial{g(\beta)}}{\partial{\beta}} = -2 E{[Xf(X)]} + 2 E[XX^T]\beta = 0 \\ &\implies \beta_{*} = E[X X^T]^{-1}E[X f(X)], \end{align*}$

E [X X^{T}]

$E[X X^T]$

P (X)

$P(X)$

f

$f$

y

$y$ , sau đó công cụ ước tính OLS là công cụ ước tính tương đương plugin. cuối cùng tôi cho thấy chúng giống nhau để ước tính giá trị của ), về cơ bản cho chúng ta biết một cách khác để lấy công cụ ước tính OLS (theo lý thuyết số lượng lớn).

β_{*}

$\beta_*$

LHS của (7.14) có thể được mở rộng thành:

\begin{aligned} E_{x_{0}} [f (x_{0}) - E {\hat{f}}_{α} (x_{0})]^{2} & = E_{x_{0}} [f (x_{0}) - x_{0}^{T} β_{*} + x_{0}^{T} β_{*} - E {\hat{f}}_{α} (x_{0})]^{2} \\ = E_{x_{0}} [f (x_{0}) - x_{0}^{T} β_{*}]^{2} + E_{x_{0}} [x_{0}^{T} β_{*} - E {\hat{f}}_{α} (x_{0})]^{2} \\ + 2 E_{x_{0}} [(f (x_{0}) - x_{0}^{T} β_{*}) (x_{0}^{T} β_{*} - E {\hat{f}}_{α} (x_{0}))] . \end{aligned}

$\begin{align*} E_{x_0}[f(x_0) - E{\hat{f}_\alpha (x_0)}]^2 &= E_{x_0}[f(x_0) -x_0^T\beta_{*}+ x_0^T\beta_{*} - E{\hat{f}_\alpha (x_0)}]^2 \\ &= E_{x_0}[f(x_0) - x_0^T\beta_{*}]^2 + E_{x_0}[ x_0^T\beta_{*} - E{\hat{f}_\alpha (x_0)}]^2 \\ &\;\;+ 2 E_{x_0}[(f(x_0) - x_0^T\beta_{*})(x_0^T\beta_{*}-E{\hat{f}_\alpha (x_0)})]. \end{align*}$

Để hiển thị (7.14), người ta chỉ cần hiển thị số hạng thứ ba là 0, tức là

E_{x_{0}} [(f (x_{0}) - x_{0}^{T} β_{*}) (x_{0}^{T} β_{*} - E {\hat{f}}_{α} (x_{0}))] = 0,

$E_{x_0}[(f(x_0) - x_0^T\beta_{*})(x_0^T\beta_{*}-E{\hat{f}_\alpha (x_0)})] = 0,$

trong đó LHS bằng

\begin{aligned} L H S = E_{x_{0}} [(f (x_{0}) - x_{0}^{T} β_{*}) x_{0}^{T} β_{*}] - E_{x_{0}} [(f (x_{0}) - x_{0}^{T} β_{*}) E {\hat{f}}_{α} (x_{0}))] \end{aligned}

$\begin{align*} LHS = E_{x_0}[(f(x_0) - x_0^T\beta_{*})x_0^T\beta_{*}] - E_{x_0}[(f(x_0) - x_0^T\beta_{*})E{\hat{f}_\alpha (x_0)})] \end{align*}$

Thuật ngữ đầu tiên (để thuận tiện, tôi đã bỏ qua và thay thế nó bằng ): nơi chúng tôi đã sử dụng danh tính phương sai $x_0$ $x$

\begin{aligned} E [(f (x) - x^{T} β_{*}) x^{T} β_{*}] = E [f (x) x^{T} β_{*}] - E [(x^{T} β_{*})^{2}] \\ = E [f (x) x^{T}] β_{*} - (V a r [x^{T} β_{*}] + (E [x^{T} β_{*}])^{2}) \\ = E [f (x) x^{T}] β_{*} - (β_{*}^{T} V a r [x] β_{*} + (β_{*}^{T} E [x])^{2}) \\ = E [f (x) x^{T}] β_{*} - (β_{*}^{T} (E [x x^{T}] - E [x] E [x]^{T}) β_{*} + (β_{*}^{T} E [x])^{2}) \\ = E [f (x) x^{T}] β_{*} - E [f (x) x^{T}] E [x x^{T}]^{- 1} E [x x^{T}] β_{*} + β_{*}^{T} E [x] E [x]^{T} β_{*} \\ - β_{*}^{T} E [x] E [x]^{T} β_{*} \\ = 0, \end{aligned}

$\begin{align} &E{[(f(x) - x^T\beta_{*})x^T\beta_{*}]} = E{[f(x)x^T\beta_*]}- E{[(x^T\beta_*)^2]} \\ &= E[f(x)x^T]\beta_* - \left(Var{[x^T\beta_*]} + (E{[x^T\beta_*]})^2\right) \\ &= E[f(x)x^T]\beta_* - \left( \beta_*^T Var{[x]} \beta_* + (\beta_* ^T E[x])^2\right) \\ &= E[f(x)x^T]\beta_* - \left( \beta_*^T (E[xx^T] - E[x]E[x]^T) \beta_* + (\beta_* ^T E[x])^2\right) \\ &= E[f(x)x^T]\beta_* - E{[f(x)x^T]}E[xx^T]^{-1} E[xx^T]\beta_* + \beta_*^TE[x]E[x]^T \beta_*\\ &\;\;- \beta_*^TE[x]E[x]^T \beta_* \\ &= 0, \end{align}$

V a r [z] = E [z z^{T}] - E [z] E {[z]}^{T}

$Var{[z]} = E{[zz^T]} - E{[z]}E{[z]}^T$ hai lần cho cả bước thứ hai và thứ hai; chúng tôi đã thay thế ở dòng cuối cùng thứ hai và tất cả các bước khác tuân theo do thuộc tính kỳ vọng / phương sai tiêu chuẩn. Cụ thể, là một vectơ không đổi ghi lại kỳ vọng, vì nó độc lập với nơi đo (hoặc ).

β_{*}^{T}

$\beta_*^T$

β_{*}

$\beta_*$

x

$x$

x_{0}

$x_0$

Thuật ngữ thứ hai trong đó đẳng thức thứ hai giữ vì là một điểm- kỳ vọng khôn ngoan nơi sự ngẫu nhiên phát sinh từ dữ liệu đào tạo , vì vậy là cố định; đẳng thức thứ ba giữ là độc lập với vị trí (

\begin{aligned} E [(f (x) - x^{T} β_{*}) E {\hat{f}}_{α} (x)] & = E [(f (x) - x^{T} β_{*}) E [x^{T} {\hat{β}}_{α}]] \\ = E [E {[{\hat{β}}_{α}}^{T}] x (f (x) - x^{T} β_{*})] \\ = E {\hat{β}}_{α}^{T} E [x f (x) - x x^{T} β_{*}] \\ = E {\hat{β}}_{α}^{T} (E [x f (x)] - E [x x^{T}] E [x x^{T}]^{- 1} E [x f (x)]) \\ = 0, \end{aligned}

$\begin{align} E{[(f(x) - x^T\beta_{*})E{\hat{f}_\alpha (x)}]} &= E{[(f(x) - x^T\beta_{*}) E{[x^T\hat{\beta}_\alpha]}]} \\ &= E{[E{[\hat{\beta}_\alpha}^T]x (f(x) - x^T\beta_{*})]} \\ &= E{\hat{\beta}_\alpha}^TE{[x f(x) - x x^T\beta_*]} \\ &=E{\hat{\beta}_\alpha}^T\left( E{[x f(x)]} - E[xx^T] E[xx^T]^{-1}E{[xf(x)]}\right)\\ &=0, \end{align}$

E {\hat{f}}_{α} (x)

$E{\hat{f}_\alpha (x)}$

y

$y$

x

$x$

E {\hat{β}}_{α}

$E{\hat{\beta}_\alpha}$

x

$x$

x_{0}

$x_0$ ) được dự đoán vì vậy đó là một sự thay đổi liên tục của kỳ vọng bên ngoài. Kết hợp các kết quả trên, tổng của hai số hạng này bằng 0, cho thấy phương trình (7.14).

Mặc dù không liên quan đến câu hỏi, điều đáng chú ý là , tức là là hàm hồi quy tối ưu, vì Do đó, nếu chúng ta nhớ lại công cụ ước tính cuối cùng là công cụ ước tính tuyến tính tốt nhất, phương trình trên về cơ bản cho chúng ta biết, sử dụng hàm hồi quy tối ưu hoặc phiên bản nhiễu, giống như công cụ ước tính điểm sự quan tâm. Tất nhiên, công cụ ước tính với $f(X) = E[Y|X]$ $f(X)$

f (X) = E [f (X) + ε | X] = E [Y | X] .

$f(X) = E{[f(X) +\varepsilon |X]} = E[Y|X].$

\begin{aligned} β_{*} & = E [X X^{T}]^{- 1} E [X f (X)] = E [X X^{T}]^{- 1} E [X E [Y | X]] \\ = E [X X^{T}]^{- 1} E [E [X Y | X]] \\ = E [X X^{T}]^{- 1} E [X Y], \end{aligned}

$\begin{align} \beta_{*} &= E[XX^T]^{-1}E{[Xf(X)]} = E[XX^T]^{-1}E{[XE[Y|X]]} \\ &= E[XX^T]^{-1}E[E[XY|X]] \\ &= E[XX^T]^{-1}E[XY], \end{align}$

f (x)

$f(x)$

y

$y$

f

$f$ sẽ có tính chất / hiệu quả tốt hơn vì nó sẽ dẫn đến phương sai nhỏ hơn, có thể dễ dàng nhìn thấy từ thực tế đó giới thiệu thêm lỗi, hoặc phương sai.

y

$y$

— Lôi
nguồn

Đúng, đây không phải là sự phân rã phương sai thiên vị thông thường, mà đó là sự phân rã hơn nữa của sự thiên vị.

Một số người khác đã trả lời điều này.

— AG
nguồn