Định luật phương sai tổng thể như định lý Pythagore

Giả sử $X$ và $Y$ có giây thứ hai hữu hạn. Trong không gian Hilbert của các biến ngẫu nhiên có thời điểm hữu hạn thứ hai (với sản phẩm bên trong của $T_1,T_2$ được xác định bởi $E(T_1T_2)$ , $||T||^2=E(T^2)$ ), chúng ta có thể giải thích $E(Y|X)$ như quy hoạch đề ra $Y$ lên không gian chức năng của $X$ .

Chúng ta cũng biết rằng Định luật phương sai tổng số đọc

V a r (Y) = E (V a r (Y | X)) + V a r (E (Y | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

Có cách nào để giải thích luật này theo hình ảnh hình học ở trên không? Tôi đã được nói rằng luật này giống như Định lý Pythagore cho tam giác vuông cân với các cạnh $Y, E(Y|X), Y-E(Y|X)$ . Tôi hiểu tại sao tam giác vuông góc, nhưng không phải là định lý Pythagore đang nắm bắt Định luật phương sai tổng thể.

variance conditional-expectation

— renrenthehamster
nguồn

Tôi giả sử rằng bạn cảm thấy thoải mái khi liên quan đến tam giác vuông góc có nghĩa là $E[Y\mid X]$ và $Y - E[Y\mid X]$ là các biến ngẫu nhiên không tương quan . Đối với các biến ngẫu nhiên không tương quan $A$ và $B$ ,

\begin{matrix} (1) & var (A + B) = var (A) + var (B), \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$ và vì vậy nếu chúng ta đặt

và

để

, chúng tôi nhận được rằng

Vẫn còn cho thấy

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$

B = E [Y ∣ X]

$B = E[Y\mid X]$

A + B = Y

$A+B = Y$

\begin{matrix} (2) & var (Y) = var (Y - E [Y ∣ X]) + var (E [Y ∣ X]) . \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$

giống với

để chúng ta có thể đặt lại trạng thái

dưới dạng

đó là công thức tổng phương sai.

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$

(2)

$(2)$

\begin{matrix} (3) & var (Y) = E [var (Y ∣ X)] + var (E [Y ∣ X]) \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$

Người ta biết rằng giá trị kỳ vọng của biến ngẫu nhiên là , nghĩa là, . Vì vậy, chúng ta thấy rằng $E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$ từ đó theo sau , nghĩa là Gọi là biến ngẫu nhiên

E [A] = E [Y - E [Y ∣ X]] = E [Y] - E [E [Y ∣ X]] = 0,

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$

\begin{matrix} (4) & var (Y - E [Y ∣ X]) = E [(Y - E [Y ∣ X])^{2}] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

để chúng tôi có thể viết rằng

Nhưng,

nơi

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} (5) & var (Y - E [Y ∣ X]) = E [C] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

Bây giờ,chorằng

, phân phối có điều kiện của

có nghĩa là

và do đó

Nói cách khác,

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

E [(Y - E [Y ∣ X = x])^{2} | X = x] = var (Y ∣ X = x) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

sao chobiến ngẫu nhiên

chỉ là

. Do đó,

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & E [C] = = E [E [C | X]] = = E [var (Y | X)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$ mà khi thay thế vào

cho thấy

Điều này làm cho phía bên phải của

chính xác những gì chúng ta cần và vì vậy chúng tôi đã chứng minh tổng công thức phương sai

(5)

$(5)$

var (Y - E [Y | X]) = = E [var (Y | X)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$

(2)

$(2)$

(3)

$(3)$

— Dilip Sarwate
nguồn

Y - E (Y | X)

$Y-E(Y|X)$

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$

@mpiktas Cảm ơn. Tôi nhận thức được cách ngắn hơn để đạt được kết quả mong muốn nhưng luôn gặp khó khăn trong việc giải thích nó theo cách mà học sinh bắt đầu có thể làm theo một cách dễ dàng. Ngẫu nhiên, trong phương trình cuối cùng mà bạn đã viết, đại lượng bên phải có số mũ bị đặt sai vị trí: đó là đại lượng bên trong dấu ngoặc vuông nên được bình phương; đó là nó nên

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$ . Tuy nhiên, quá muộn để sửa nó, trừ khi người điều hành bắt buộc.

— Dilip Sarwate

Dilip, nhiều nhà xác suất sẽ giải thích chính xác phương trình của @ mpiktas như được viết; bộ dấu ngoặc đơn thêm thường bị bỏ. Có lẽ đôi mắt của tôi đang đánh lừa tôi, nhưng tôi nghĩ rằng ký hiệu của anh ấy nhất quán xuyên suốt. Dù vậy, tôi rất vui khi được giúp sửa chữa mọi thứ. :-)

— hồng y

@cardinal Tôi không hiểu sai cách viết của mpiktas, và hoàn toàn hiểu những gì anh ấy nói. Trong khi tôi cũng quen diễn giải

E X

$EX$ hoặc là

E X

$\mathbb EX$ như giá trị mong đợi của

X

$X$ , Tôi luôn nghi ngờ về

E X^{2}

$EX^2$ , đặc biệt vì PEMDAS không nói gì về nó. Liệu kỳ vọng có được ưu tiên hơn lũy thừa hay không? Tôi đoán tôi chỉ quen với toán tử kỳ vọng để áp dụng cho mọi thứ bên trong dấu ngoặc vuông. Vui lòng không chỉnh sửa m [bình luận của iktas, nhưng nếu bạn muốn xóa mọi thứ trong chuỗi này từ "Ngẫu nhiên" trở đi trong bình luận trước của tôi, vui lòng tiếp tục.

— Dilip Sarwate

Tôi xin lỗi, @Dilip. Ý định của tôi không phải là đề nghị bạn không hiểu; Tôi biết bạn đã có! Tôi cũng đồng ý rằng ký hiệu có thể tự cho vay đối với sự mơ hồ và thật tốt khi chỉ ra chúng khi chúng phát sinh! Ý tôi là tôi nghĩ phương trình thứ hai trong bình luận (nghĩa là

v a r \dots

$var\ldots$ ) làm rõ các quy ước đã được sử dụng từ đó. :-)

— hồng y

Tuyên bố:

Định lý Pythagore nói, cho bất kỳ yếu tố nào $T_1$ và $T_2$ của một không gian sản phẩm bên trong với các chỉ tiêu hữu hạn sao cho $\langle T_1,T_2\rangle = 0$ ,

\begin{matrix} (1) & | | T_{1} + T_{2} | |^{2} = = | | T_{1} | |^{2} + | | T_{2} | |^{2} . \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$ Hay nói cách khác, đối với các vectơ trực giao, độ dài bình phương của tổng là tổng độ dài bình phương.

Trường hợp của chúng tôi:

Trong trường hợp của chúng ta $T_1 = E(Y|X)$ và $T_2 = Y - E[Y|X]$ là các biến ngẫu nhiên, chỉ tiêu bình phương là $||T_i||^2 = E[T_i^2]$ và sản phẩm bên trong $\langle T_1,T_2\rangle = E[T_1T_2]$ . Dịch $(1)$ vào ngôn ngữ thống kê cho chúng ta:

\begin{matrix} (2) & E [Y^{2}] = = E [{E (Y | X)}^{2}] + E [(Y - E [Y | X])^{2}], \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$ bởi vì

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$ . Chúng tôi có thể làm cho nó trông giống như Luật phương sai tổng thể đã nêu của bạn nếu chúng tôi thay đổi

(2)

$(2)$ bởi ...

Trừ $(E[Y])^2$ từ cả hai phía, làm cho phía bên tay trái $\operatorname{Var}[Y]$ ,
Ghi chú bên tay phải $E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$ ,
Noting that $E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$ .

For details about these three bullet points see @DilipSarwate's post. He explains this all in much more detail than I do.

— Taylor
nguồn