Dự đoán lỗi - dẫn xuất

Tôi đang đấu tranh để hiểu đạo hàm của lỗi dự đoán dự kiến ở bên dưới (ESL), đặc biệt là về đạo hàm 2,11 và 2,12 (điều hòa, bước tiến tới mức tối thiểu theo điểm). Bất kỳ con trỏ hoặc liên kết nhiều đánh giá cao.

Dưới đây tôi đang báo cáo đoạn trích từ pg ESL. 18. Hai phương trình đầu tiên, theo thứ tự, phương trình 2.11 và 2.12.

Đặt $X \in \mathbb{R}^p$ biểu thị một vectơ đầu vào ngẫu nhiên có giá trị thực và $Y \in \mathbb{R}$ là biến đầu ra ngẫu nhiên có giá trị thực, với phân phối chung $\text{Pr}(X,Y)$ . Chúng tôi tìm kiếm một hàm $f(X)$ để dự đoán $Y$ giá trị nhất định của đầu vào $X$ . Lý thuyết này yêu cầu hàm mất $L(Y,f(X))$ để xử phạt các lỗi trong dự đoán và cho đến nay, phổ biến và thuận tiện nhất là mất bình phương lỗi : $L(Y,f(X))=(Y-f(X))^2$ . Điều này dẫn chúng ta đến một tiêu chí để chọn $f$ ,

\begin{aligned} EPE (f) & = E (Y - f (X))^{2} \\ = \int [y - f (x)]^{2} Pr (d x, d y) \end{aligned}

$\begin{split} \text{EPE}(f) &= \text{E}(Y - f(X))^2\\ & = \int [y - f(x)]^2 \text{Pr}(dx, dy) \end{split}$

lỗi dự đoán (bình phương) dự kiến. Bằng cách điều hòa trên $X$ , chúng ta có thể viết EPE như

EPE (f) = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X)

$\text{EPE}(f) = \text{E}_X \text{E}_{Y|X}([Y-f(X)]^2|X)$

và chúng tôi thấy rằng nó đủ để giảm thiểu điểm EPE:

f (x) = {argmin}_{c} E_{Y | X} ([Y - c]^{2} | X)

$f(x) = \text{argmin}_c \text{E}_{Y|X}([Y-c]^2|X)$

Giải pháp là

f (x) = E (Y | X = x)

$f(x) = \text{E}(Y|X=x)$

kỳ vọng có điều kiện, còn được gọi là hàm hồi quy .

regression prediction error

— người dùng1885116
nguồn

Hoán đổi

và

trong phương trình đầu tiên trong bài viết Wikipedia về Luật tổng kỳ vọng đưa ra sự tương đương của (2.9) và (2.11). Đọc bài viết đó để chứng minh. (2.12) là ngay lập tức, theo cách hiểu rằng

sẽ được chọn để giảm thiểu EPE.

X

$X$

Y

$Y$

f

$f$

— whuber

Lưu ý bên lề: Đây là từ các yếu tố của học thống kê

— Zhubarb

Đối với những người cũng đang đọc cuốn sách này, hãy xem những ghi chú toàn diện này của Weathermax và Epstein

— Dodgie

@Dodgie Liên kết đó đã chết: (

— Matthew Drury

@MatthewDrury May mắn thay một googling của "Weathermax và Epstein thống kê" tìm thấy một liên kết như là kết quả đầu tiên;) - waxworksmath.com/Authors/G_M/Hastie/WriteUp/...

— Dodgie

Câu trả lời:

\begin{aligned} E P E (f) & = \int [y - f (x)]^{2} P r (d x, d y) \\ = \int [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x) p (y | x) d x d y \\ = \int_{x} (\int_{y} [y - f (x)]^{2} p (y | x) d y) p (x) d x \\ = \int_{x} (E_{Y | X} ([Y - f (X)]^{2} | X = x)) p (x) d x \\ = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X = x) \end{aligned}

$\begin{align*} EPE(f) &= \int [y - f(x)]^2 Pr(dx, dy) \\ &= \int [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x)p(y|x)dxdy \\ &= \int_x\left( \int_y [y - f(x)]^2p(y|x)dy \right)p(x)dx \\ &= \int_x \left( E_{Y|X}([Y - f(X)]^2|X = x) \right) p(x)dx\\ &= E_{X}E_{Y|X}([Y - f(X)]^2| X = x) \end{align*}$

— người dùng48002
nguồn

Tôi hiểu những gì bạn đã viết, nhưng bạn có nghĩ rằng nếu OP bị nhầm lẫn bởi đạo hàm được thể hiện trong câu hỏi, rằng anh ấy / cô ấy sẽ hiểu câu trả lời của bạn? Tất nhiên, tôi đã hiểu đạo hàm thể hiện trong câu hỏi.

— Mark L. Stone

Tôi đến đây từ google với cùng một câu hỏi và thực sự tìm thấy sự phát sinh này chính xác là những gì tôi cần.

— Dấu chấm phẩy và băng keo

@ MarkL.Stone - đây có thể là một câu hỏi ngu ngốc, nhưng bạn có thể giải thích ý nghĩa của

và nó trở thành

như thế nào? Cảm ơn rất nhiều

P r (d x, d y)

$Pr(dx,dy)$

p (x, y) d x d y

$p(x,y)dxdy$

— Xavier Bourret Sicotte

Cái trước có nghĩa là cái sau. Tôi nghĩ rằng phổ biến hơn là sử dụng dP (x, y) hoặc dF (x, y). Trong 1D, bạn sẽ thường thấy dF (x) có nghĩa là f (x) dx, trong đó f (x) là hàm mật độ xác suất, nhưng ký hiệu cũng có thể cho phép hàm khối lượng xác suất rời rạc (tính tổng) hoặc thậm chí là hỗn hợp mật độ liên tục và khối lượng xác suất rời rạc.

— Mark L. Stone

Sẽ không chính xác hơn để nói (công thức cuối cùng)

E_{X} (E_{Y | X} ([Y - f (X)]^{2} | X = x))

$E_{X}(E_{Y|X}([Y - f(X)]^2| X = x))$

— D1X

Phương trình (2.11) là hệ quả của đẳng thức nhỏ sau đây. Đối với hai biến ngẫu nhiên và và bất kỳ hàm $Z_1$ $Z_2$ $g$

E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) = = E_{Z_{2}} (E_{Z_{1} | Z_{2}} (g (Z_{1}, Z_{2}) | Z_{2}))

$E_{Z_1, Z_2} (g(Z_1, Z_2)) = E_{Z_2}(E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2))$

Ký hiệu là kỳ vọng về phân phối chung . Ký hiệu về cơ bản nói "tích hợp trên phân phối có điều kiện của như thể đã được sửa". $E_{Z_1, Z_2}$ $E_{Z_1 \mid Z_2}$ $Z_1$ $Z_2$

Thật dễ dàng để xác minh điều này trong trường hợp và là các biến ngẫu nhiên rời rạc bằng cách chỉ mở ra các định nghĩa liên quan $Z_1$ $Z_2$

\begin{aligned} E_{Z_{2}} & (E_{Z_{1} | Z_{2}} (g (Z_{1}, Z_{2}) | Z_{2})) \\ = = E_{Z_{2}} (\underset{z_{1}}{Σ} g (z_{1}, Z_{2}) P r (Z_{1} = = z_{1} | Z_{2})) \\ = = \underset{z_{2}}{Σ} (\underset{z_{1}}{Σ} g (z_{1}, z_{2}) P r (Z_{1} = = z_{1} | Z_{2} = = z_{2})) P r (Z_{2} = = z_{2}) \\ = = \underset{z_{1}, z_{2}}{Σ} g (z_{1}, z_{2}) P r (Z_{1} = = z_{1} | Z_{2} = = z_{2}) P r (Z_{2} = = z_{2}) \\ = = \underset{z_{1}, z_{2}}{Σ} g (z_{1}, z_{2}) P r (Z_{1} = = z_{1}, Z_{2} = = z_{2}) \\ = = E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) \end{aligned}

$\begin{align} E_{Z_2} & (E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2)) \\ &= E_{Z_2} \left( \sum_{z_1} g(z_1, Z_2) Pr(Z_1 = z_1 \mid Z_2 ) \right) \\ &= \sum_{z_2} \left( \sum_{z_1} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2 ) \right) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1, Z_2 = z_2 ) \\ &= E_{Z_1, Z_2} (g(Z_1, Z_2)) \end{align}$

Trường hợp liên tục có thể được xem một cách không chính thức như là một giới hạn của lập luận này, hoặc được xác minh chính thức một khi tất cả các ông bố lý thuyết đo lường được đưa ra.

Để thư giãn ứng dụng, lấy , và . Tất cả mọi thứ xếp hàng chính xác. $Z_1 = Y$ $Z_2 = X$ $g(x, y) = (y - f(x))^2$

Khẳng định (2.12) yêu cầu chúng tôi xem xét giảm thiểu

E_{X} E_{Y | X} (Y - f (X))^{2}

$E_X E_{Y \mid X} (Y - f(X))^2$

nơi chúng tôi có thể tự do chọn như chúng tôi muốn. Một lần nữa, tập trung vào trường hợp rời rạc và thả nửa chừng vào việc giải quyết ở trên, chúng tôi thấy rằng chúng tôi đang giảm thiểu $f$

\underset{x}{Σ} (\underset{y}{Σ} (y - f (x))^{2} P r (Y = = y | X = = x)) P r (X = = x)

$\sum_{x} \left( \sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x) \right) Pr(X = x)$

$f$

\underset{y}{Σ} (y - f (x))^{2} P r (Y = = y | X = = x)

$\sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x)$

$x$

— Matthew Drury
nguồn

Tôi tìm thấy một số phần trong cuốn sách này diễn đạt theo một cách khó hiểu, đặc biệt đối với những người không có nền tảng vững chắc về thống kê.

Tôi sẽ cố gắng làm cho nó đơn giản và hy vọng rằng bạn có thể thoát khỏi sự nhầm lẫn.

$E(X) = E(E(X|Y)),\forall X,Y$

\begin{aligned} E (E (X | Y)) & = = \int E (X | Y = = y) f_{Y} (y) d y \\ = = \int \int x f_{X | Y} (x | y) d x f_{Y} (y) d y \\ = = \int \int x f_{X | Y} (x | y) f_{Y} (y) d x d y \\ = = \int \int x f_{X Y} (x, y) d x d y \\ = = \int x (\int f_{X Y} (x, y) d y) d x \\ = = \int x f_{X} (x) d x = = E (X) \end{aligned}

$\begin{align} E(E(X|Y)) &= \displaystyle\int E(X|Y=y) f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) dx f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) f_Y(y) dx dy \\ &= \int \int x f_{XY} (x,y) dx dy \\ &= \int x \left(\int f_{XY} (x,y) dy \right) dx \\ &= \int x f_X(x) dx = E(X) \end{align}$

$E(Y - f(X))^2 \geq E(Y - E(Y|X))^2, \forall f$

\begin{aligned} E ((Y - f (X))^{2} | X) & = = E (([Y - E (Y | X)] + [E (Y | X) - f (X)])^{2} | X) \\ = = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 E ((Y - E (Y | X)) (E (Y | X) - f (X)) | X) \\ = = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 (E (Y | X) - f (X)) E (Y - E (Y | X)) | X) \\ (từ E (Y | X) - f (X) là hằng số cho X) \\ = = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) (sử dụng Yêu cầu 1) \\ \geq E ((Y - E (Y | X))^{2} | X) \end{aligned}

$\begin{align} E((Y - f(X))^2 | X) &= E( ([Y - E(Y|X)] + [E(Y|X) - f(X)])^2|X) \\ &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 E((Y - E(Y|X))(E(Y|X) - f(X))|X) \\ &=E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 (E(Y|X) - f(X)) E(Y - E(Y|X))|X) \\[5pt] &( \text{ since } E(Y|X) - f(X) \text{ is constant given } X) \\[5pt] &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) \text{ ( use Claim 1 }) \\ &\geq E((Y-E(Y|X))^2 |X) \end{align}$

Lấy kỳ vọng cả hai mặt của phương trình trên đưa ra Yêu cầu 2 (QED)

$f(X) = E(Y|X)$

— thanhtang
nguồn