Xu hướng lạc quan - ước tính lỗi dự đoán

9

Cuốn sách Các yếu tố của học thống kê (có sẵn trong PDF trực tuyến) thảo luận về xu hướng tối ưu (7.21, trang 229). Nó nói rằng độ lệch lạc quan là sự khác biệt giữa lỗi huấn luyện và lỗi trong mẫu (lỗi được quan sát nếu chúng ta lấy mẫu các giá trị kết quả mới tại mỗi điểm đào tạo ban đầu) (theo bên dưới).

nhập mô tả hình ảnh ở đây

Tiếp theo, nó tuyên bố độ lệch lạc quan ( ) này bằng với hiệp phương sai của các giá trị y ước tính của chúng tôi và các giá trị y thực tế (công thức theo bên dưới). Tôi gặp khó khăn trong việc hiểu tại sao công thức này chỉ ra sự thiên vị lạc quan; ngây thơ tôi đã nghĩ rằng một hiệp phương sai mạnh mẽ giữa thực tế và dự đoán chỉ mô tả sự chính xác - không phải sự lạc quan. Hãy cho tôi biết nếu ai đó có thể giúp đỡ với công thức phái sinh hoặc chia sẻ trực giác. $\omega$ $y$ $y$

nhập mô tả hình ảnh ở đây

error bias validation

— người dùng1885116
nguồn

Rất hữu ích, cảm ơn bạn! Tôi nghĩ rằng một trong các phương trình có một lỗi đánh máy nhỏ và nên:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

— Ngủ

8

Hãy bắt đầu với trực giác.

Không có gì sai khi sử dụng để dự đoán . Trong thực tế, không sử dụng nó có nghĩa là chúng ta đang vứt bỏ thông tin có giá trị. Tuy nhiên, chúng tôi càng phụ thuộc vào thông tin có trong để đưa ra dự đoán của mình, người ước tính của chúng tôi sẽ càng lạc quan quá mức . $y_i$ $\hat{y}_i$ $y_i$

Ở một thái cực, nếu chỉ là , bạn sẽ hoàn hảo trong dự đoán mẫu ( ), nhưng chúng tôi khá chắc chắn rằng dự đoán ngoài mẫu sẽ không tốt. Trong trường hợp này (thật dễ dàng để tự kiểm tra), mức độ tự do sẽ là . $\hat{y}_i$ $y_i$ $R^2 = 1$ $df(\hat{y}) = n$

Ở một thái cực khác, nếu bạn sử dụng giá trị trung bình mẫu của : cho tất cả , thì mức độ tự do của bạn sẽ chỉ là 1. $y$ $y_i = \hat{y_i} = \bar{y}$ $i$

Kiểm tra bản tin hay này của Ryan Tibshirani để biết thêm chi tiết về trực giác này

Bây giờ là một bằng chứng tương tự với câu trả lời khác, nhưng với một chút giải thích

Hãy nhớ rằng, theo định nghĩa, sự lạc quan trung bình là:

ω = E_{y} (E r r_{i n} - \bar{e r r})

$\omega = E_y (Err_{in} - \overline{err})$

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}) | T)] - \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

Bây giờ sử dụng hàm mất bậc hai và mở rộng các số hạng bình phương:

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - \frac{1}{N} \sum_{i = 1}^{N} (y_{i} - {\hat{y}}_{i})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

sử dụng để thay thế: $E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y_{i}}}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{N} \sum_{i = 1}^{N} (E [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

Để kết thúc, lưu ý rằng , mang lại: $Cov(x, w) = E[xw] - E[x]E[w]$

= \frac{2}{N} \sum_{i = 1}^{N} C o v (y_{i}, {\hat{y}}_{i})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— cd98
nguồn

5

Tôi phải chỉ ra rằng tên của anh ấy được đánh vần là "Ryan Tibshirani" Rob

— Tibshirani

2

Chào mừng bạn đến với trang web của chúng tôi, Rob - thật vinh dự khi có bạn ở đây, nếu chỉ để sửa lỗi! Nếu bạn thấy thêm nữa, xin vui lòng cho chúng tôi biết: và tất nhiên chúng tôi sẽ rất vui vì bất kỳ câu trả lời nào mà bạn (hoặc học sinh của bạn) có thể quan tâm để đăng. Công việc của bạn được tham khảo rộng rãi trên trang web này, đặc biệt là ESL và Giới thiệu về Bootstrap.

— whuber

Tâm giải thích ? Ngoài ra, là ?

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$

— Shookie

7

Đặt , sau đó $\hat{f}(x_i)=\hat{y}_i$

\begin{aligned} ω & = E_{y} [o p] \\ = E_{y} [E r r_{i n} - \bar{e r r}] \\ = E_{y} [E r r_{i n}] - E_{y} [\bar{e r r}] \\ = E_{y} [\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}))] - E_{y} [\frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i}))] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - E_{y} [(y_{i} - {\hat{y}}_{i})^{2}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i} - y_{i} E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}] {\hat{y}}_{i} + E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [({\hat{y}}_{i} - E_{y} [{\hat{y}}_{i}]) ([y_{i} - E_{y} [y_{i}])] \\ = \frac{2}{N} \sum_{i = 1}^{N} c o v ({\hat{y}}_{i}, y_{i}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$ QED

— Maciej Lazarewicz
nguồn

1

Bốn bước cuối cùng có thể được đơn giản hóa bằng tính chất hiệp phương sai này:

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$

— cd98