Nhầm lẫn bởi đạo hàm của hàm hồi quy

Tôi vừa nhận được một bản sao của các yếu tố của việc học thống kê của Hastie, Tibshirani và Friedman. Trong chương 2 (Tổng quan về học tập có giám sát) phần 4 (Lý thuyết quyết định thống kê), ông đưa ra một dẫn xuất của hàm hồi quy.

Đặt biểu thị một vectơ đầu vào ngẫu nhiên có giá trị thực và Y \ in \ mathbb {R} một biến đầu ra ngẫu nhiên có giá trị thực, với phân phối chung Pr (X, Y) . Chúng tôi tìm kiếm một hàm f (X) để dự đoán Y giá trị nhất định của đầu vào X . Lý thuyết này yêu cầu hàm mất L (Y, f (X)) để xử phạt các lỗi trong dự đoán và cho đến nay, phổ biến và thuận tiện nhất là mất bình phương lỗi: L (Y, f (X)) = (Y −f (X )) ^ 2 . Điều này dẫn chúng ta đến một tiêu chí để chọn f ,$X \in \mathbb{R}^p$$Y\in\mathbb{R}$$Pr(X,Y)$$f(X)$$Y$$X$$L(Y,f(X))$$L(Y,f(X))=(Y −f(X))^2$$f$

$$\begin{align*} EPE(f) &= E(Y-f(X))^2 \\ &= \int [y - f(x)]^2Pr(dx, dy)\end{align*}$$ dự kiến (bình phương) lỗi dự đoán.

Tôi hoàn toàn hiểu được thiết lập và động lực. Sự nhầm lẫn đầu tiên của tôi là: ý anh ấy là $E[(Y - f(x))]^2$ hay $E[(Y - f(x))^2]$ ? Thứ hai, tôi chưa bao giờ thấy ký hiệu $Pr(dx,dy)$ . Ai đó có thể giải thích ý nghĩa của nó cho tôi? Có phải chỉ là $Pr(dx) = Pr(x)dx$ ? Than ôi sự nhầm lẫn của tôi không kết thúc ở đó,

Bằng cách điều hòa trên $X$ , chúng ta có thể viết $EPE$ là

$$\begin{align*}EPE(f) = E_XE_{Y|X}([Y-f(X)]^2|X)\end{align*}$$

Tôi đang thiếu kết nối giữa hai bước này và tôi không quen với định nghĩa kỹ thuật của "điều hòa". Hãy cho tôi biết nếu tôi có thể làm rõ bất cứ điều gì! Tôi nghĩ rằng hầu hết sự nhầm lẫn của tôi đã phát sinh từ ký hiệu lạ; Tôi tự tin rằng, nếu ai đó có thể chia nhỏ nguồn gốc này sang tiếng Anh đơn giản, tôi sẽ hiểu. Cảm ơn thống kê.SE!

Đối với sự nhầm lẫn đầu tiên của bạn, đó phải là Kỳ vọng về lỗi bình phương, vì vậy đó là$E[(Y-f(x))^2].$

Đối với ký hiệu của , nó bằng , trong đó là pdf chung của x và y. Và , điều này có thể được hiểu là xác suất x nằm trong một khoảng nhỏ của bằng giá trị pdf tại điểm , tức là lần chiều dài khoảng .$Pr(dx,dy)$$g(x,y)\,dx\,dy$$g(x,y)$$Pr(dx)=f(x)\,dx$$[x,x+dx]$$x$$f(x)$$dx$

Phương trình về EPE bắt nguồn từ định lý cho bất kỳ hai biến ngẫu nhiên và . Bạn có thể chứng minh điều này bằng cách sử dụng phân phối có điều kiện. Kỳ vọng có điều kiện là kỳ vọng được tính bằng cách sử dụng phân phối có điều kiện. Sự phân bố có điều kiện có nghĩa là xác suất của sau khi bạn biết điều gì đó về .$E(E(Y|X))=E(Y)$$X$$Y$$Y|X$$Y$$X$

Trong trường hợp của chúng tôi, giả sử chúng ta biểu thị lỗi bình phương là một hàm , EPE được tính toán$L(x,y)=(y-f(x))^2$

$$\begin{equation}\begin{split}E(L(x,y))&=\int\int L(x,y)g(x,y)dx\,dy \\ &=\int\bigg[\int L(x,y)g(y|x)g(x)dy\bigg]dx \\ &=\int\bigg[\int L(x,y)g(y|x)dy\bigg]g(x)dx \\ &=\int\bigg[E_{Y|X} (L(x,y)\bigg]g(x)dx \\ &=E_X(E_{Y|X} (L(x,y)))\end{split}\end{equation}$$

Kết quả ở trên tương ứng với kết quả bạn liệt kê. Hy vọng điều này có thể giúp bạn một chút.