Vấn đề với bằng chứng về kỳ vọng có điều kiện là dự đoán tốt nhất

Tôi có một vấn đề với bằng chứng về

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

mà rất có thể tiết lộ một sự hiểu lầm sâu sắc hơn về kỳ vọng và kỳ vọng có điều kiện.

Bằng chứng tôi biết diễn ra như sau (phiên bản khác của bằng chứng này có thể được tìm thấy ở đây )

$$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$$

Bằng chứng sau đó thường tiếp tục với một đối số cho thấy $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ , và do đó

$$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$$

có thể được xem là giảm thiểu khi $g(X) = E(Y|X)$ .

Câu đố của tôi về bằng chứng là như sau:

1. Xem xét

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ .

Dường như với tôi, độc lập với bất kỳ đối số nào cho thấy thuật ngữ đầu tiên luôn bằng 0, người ta có thể thấy rằng cài đặt $g(X) = E(Y|X)$ giảm thiểu biểu thức vì nó ngụ ý $\big(E(Y|X) - g(X)\big) =0$ và do đó

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0.

Nhưng nếu điều này là đúng, thì người ta có thể lặp lại bằng chứng thay thế bằng bất kỳ chức năng nào khác của , giả sử và đi đến kết luận rằng đó là làm giảm thiểu biểu thức. Vì vậy, phải có một cái gì đó tôi hiểu lầm (phải không?).$E(Y|X)$$X$$h(X)$$h(X)$

1. Tôi có một số nghi ngờ về ý nghĩa của trong tuyên bố của vấn đề. Ký hiệu nên được giải thích như thế nào? Có nghĩa là$E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ , hoặc ?$E_Y[(Y−g(X))^2]$$E_{XY}[(Y−g(X))^2]$

(Đây là bản chuyển thể từ Granger & Newbold (1986) "Dự báo chuỗi thời gian kinh tế").

Bằng cách xây dựng, hàm chi phí lỗi của bạn là . Điều này kết hợp một giả định quan trọng (rằng hàm chi phí lỗi đối xứng quanh 0) - một hàm chi phí lỗi khác nhau sẽ không nhất thiết phải có giá trị dự kiến ​​có điều kiện là của giá trị dự kiến. Bạn không thể giảm thiểu hàm chi phí lỗi vì nó chứa số lượng không xác định. Vì vậy, bạn quyết định giảm thiểu giá trị dự kiến ​​của nó thay vào đó. Sau đó, chức năng mục tiêu của bạn trở thành$\left[Y-g(X)\right]^2$$\arg \min$

$$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$$

mà tôi tin rằng câu trả lời cũng là câu hỏi thứ hai của bạn. Rõ ràng là độ giá trị kỳ vọng sẽ là của có điều kiện trên , vì chúng ta đang cố gắng để ước tính / dự báo dựa trên . Phân tách hình vuông để thu được$Y$$X$$Y$$X$

$$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$$

Thuật ngữ đầu tiên không chứa vì vậy nó không ảnh hưởng đến việc giảm thiểu và có thể bỏ qua. Tích phân trong số hạng thứ hai bằng giá trị kỳ vọng có điều kiện của cho và tích phân trong số hạng cuối cùng bằng với sự thống nhất. Vì thế$g(X)$$Y$$X$

$$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$$

Ký hiệu đạo hàm đầu tiên là dẫn đến điều kiện thứ tự đầu tiên để giảm thiểu trong khi đạo hàm thứ hai bằng là đủ cho tối thiểu.$g(X)$$-2E(Y\mid X) + 2g(X)$$g(X) = E(Y\mid X)$$2>0$

ĐỊA CHỈ: Logic của phương pháp chứng minh "cộng và trừ".

OP bối rối trước cách tiếp cận được nêu trong câu hỏi, bởi vì nó có vẻ như tautological. Không, bởi vì trong khi sử dụng chiến thuật cộng và trừ làm cho một phần cụ thể của hàm mục tiêu bằng 0 đối với sự lựa chọn tùy ý của thuật ngữ được thêm và trừ, nó KHÔNG cân bằng hàm giá trị , cụ thể là giá trị của mục tiêu chức năng đánh giá tại tối thiểu hóa ứng cử viên.

Đối với lựa chọn chúng ta có hàm giá trị Với lựa chọn tùy ý chúng ta có giá trị funtion .$g(X) = E(Y \mid X)$$V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$$g(X) = h(X)$$V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

Tôi khẳng định rằng

$$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$$ $$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$$

Nhiệm kỳ đầu tiên của LHS và RHS hủy bỏ. Cũng lưu ý rằng sự mong đợi bên ngoài là điều kiện trên . Bởi các tính chất của kỳ vọng có điều kiện, chúng tôi kết thúc với$X$

$$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$$

$$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$$

$$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$$ có bất đẳng thức nghiêm ngặt nếu . Vì vậy, là công cụ thu nhỏ toàn cầu và duy nhất.$h(x) \neq E(Y \mid X)$$E(Y \mid X)$

Nhưng điều này cũng nói rằng phương pháp "cộng và trừ" không phải là cách chứng minh rõ ràng nhất ở đây.

Lưu ý rằng để chứng minh câu trả lời, bạn thực sự chỉ cần thể hiện điều đó

$$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$$

Đối với kỳ vọng sẽ thực hiện, bạn có điều kiện, nếu không thì hạn

$$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$$

Không có nghĩa gì, vì là một biến ngẫu nhiên nếu là chứ không phải . Cho thấy bạn thực sự nên viết hoặc để làm rõ điều này. Bây giờ được làm rõ điều này, thuật ngữ là một hằng số và có thể được kéo ra bên ngoài triển khai và bạn có:$g(X)$$E$$E_{XY}$$E_{Y|X}$$E\Big[\big(Y - g(X)\big)^2|X\Big]$$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$$\big(E(Y|X) - g(X)\big)$

$$-2\big(E(Y|X) - g(X)\big)E \Big[ \big(Y - E(Y|X)\big)|X\Big]=-2\big(E(Y|X) - g(X)\big)\Big[ E(Y|X) - E\big[E(Y|X)|X\big]\Big]=-2\big(E(Y|X) - g(X)\big)\Big[ E(Y|X) - E(Y|X)\Big]=0$$

Do đó bạn có thể viết hàm mục tiêu là:

$$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$$

Giảm thiểu là rõ ràng từ đây. Lưu ý rằng nếu bạn cũng trung bình trên , thì có thể sử dụng một đối số tương tự để hiển thị:$X$

$$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$$

Điều này cho thấy rằng nếu bạn đặt cho mỗi , thì bạn cũng có một bộ giảm thiểu đối với chức năng này. Vì vậy, trong một số trường hợp, điều đó không thực sự quan trọng cho dù là hay .$g(X)=E_{Y|X}(Y|X)$$X$$E$$E_{YX}$$E_{Y|X}$

Có một quan điểm toán học rất đơn giản. Những gì bạn có là một vấn đề chiếu trong không gian Hilbert, giống như chiếu một vectơ trong lên một không gian con.$\mathbb{R}^n$

Đặt biểu thị không gian xác suất cơ bản. Để giải quyết vấn đề, hãy xem xét các biến ngẫu nhiên với các giây thứ hai hữu hạn, nghĩa là không gian Hilbert . Vấn đề bây giờ là đây: đã cho , tìm hình chiếu của lên không gian con , nơi là -subalgebra của được tạo ra bởi . (Giống như trong trường hợp chiều hữu hạn, tối thiểu hóa -distance vào không gian con có nghĩa là tìm phép chiếu). Hình chiếu mong muốn là$(\Omega, \mathcal{F}, \mu)$$L^2(\Omega, \mathcal{F}, \mu)$$X, Y \in L^2(\Omega, \mathcal{F}, \mu)$$Y$$L^2(\Omega, \mathcal{F}_X, \mu)$$\mathcal{F}_X$$\sigma$$\mathcal{F}$$X$$L^2$$E(X|Y)$ , bằng cách xây dựng. (Điều này thực sự đặc trưng cho , nếu người ta kiểm tra bằng chứng tồn tại).$E(X|Y)$

Về câu hỏi cuối cùng của bạn, kỳ vọng có thể là wrt (lỗi vô điều kiện) hoặc wrt (lỗi có điều kiện tại mỗi giá trị ). Hạnh phúc, giảm thiểu lỗi có điều kiện ở mỗi giá trị cũng giảm thiểu lỗi vô điều kiện, vì vậy đây không phải là điểm khác biệt quan trọng.$p(x,y)$$p(y\mid x)$$X = x$$X = x$