Một khái quát của Luật kỳ vọng lặp đi lặp lại

43

Gần đây tôi đã bắt gặp danh tính này:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

Tất nhiên tôi quen thuộc với phiên bản đơn giản hơn của quy tắc đó, cụ thể là nhưng tôi không thể tìm thấy sự biện minh cho khái quát của nó. $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$

Tôi sẽ biết ơn nếu ai đó có thể chỉ cho tôi một tài liệu tham khảo phi kỹ thuật cho thực tế đó hoặc, thậm chí tốt hơn, nếu ai đó có thể đưa ra một bằng chứng đơn giản cho kết quả quan trọng này.

self-study conditional-probability conditional-expectation

— JohnK
nguồn

2

Nếu

y

$y$ được điều hòa trên một số

x

$x$ thì điều này sẽ không chính xác ra khỏi phiên bản đơn giản hơn?

— Mehrdad

36

ĐIỀU TRỊ THÔNG TIN

Chúng ta nên nhớ rằng ký hiệu mà chúng ta điều kiện trên các biến ngẫu nhiên là không chính xác, mặc dù về mặt kinh tế, là ký hiệu. Trong thực tế, chúng ta dựa vào đại số sigma mà các biến ngẫu nhiên này tạo ra. Nói cách khác có nghĩa là để bình . Nhận xét này có vẻ không phù hợp trong "Điều trị không chính thức", nhưng nó nhắc nhở chúng ta rằng các thực thể điều hòa của chúng ta là tập hợp các tập hợp (và khi chúng ta điều kiện trên một giá trị duy nhất, thì đây là một tập hợp đơn). Và những bộ này chứa gì? Chúng chứa thông tin $E[Y\mid X]$ $E[Y\mid \sigma(X)]$ mà các giá trị có thể của biến ngẫu nhiên cung cấp cho chúng tôi về những gì có thể xảy ra với việc thực hiện các . Đưa ra khái niệm Thông tin, cho phép chúng ta suy nghĩ về (và sử dụng) Luật Kỳ vọng lặp lại (đôi khi được gọi là "Tài sản Tháp") theo cách rất trực quan: Đại số sigma được tạo bởi hai biến ngẫu nhiên, ít nhất là lớn như được tạo ra bởi một biến ngẫu nhiên: trong ý nghĩa thiết lập lý thuyết thích hợp. Vì vậy, thông tin về chứa trong $X$ $Y$

$\sigma (X) \subseteq \sigma(X,Z)$ $Y$ là ít nhất cũng tuyệt vời như các thông tin tương ứng trong . Bây giờ, khi ám chỉ ký hiệu, bộ và . Sau đó, LHS của phương trình chúng ta đang xem xét, có thể được viết $\sigma(X,Z)$ $\sigma (X)$
$\sigma (X) \equiv I_x$ $\sigma(X,Z) \equiv I_{xz}$

Mô tả bằng lời nói biểu thức trên ta có: "sự mong đợi của {giá trị kỳ vọng là những gì đưa thông tin } cho rằng chúng tôi có thông tin sẵn có chỉ?"

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

Có thể chúng ta bằng cách nào đó "đưa vào tài khoản" ? Không - chúng tôi chỉ biết . Nhưng nếu chúng ta sử dụng những gì chúng ta có (vì chúng ta bị ràng buộc bởi biểu thức mà chúng ta muốn giải quyết), thì về cơ bản chúng ta đang nói những điều về theo toán tử kỳ vọng, tức là chúng ta nói " ", không còn nữa - chúng tôi vừa cạn kiệt thông tin của chúng tôi. $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

Do đó

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

Nếu ai đó không, tôi sẽ trở lại để điều trị chính thức.

A (thêm một chút) ĐIỀU TRỊ FORMAL

Chúng ta hãy xem hai cuốn sách rất quan trọng về lý thuyết xác suất, Xác suất và Đo lường của P. Billingsley (3d ed.-1995) và D. Williams "Xác suất với Martingales" (1991), đối xử với vấn đề chứng minh "Định luật lặp đi lặp lại":
Billingsley dành chính xác ba dòng cho bằng chứng. Williams, và tôi trích dẫn, nói

"(Tài sản Tháp) gần như ngay lập tức từ định nghĩa về kỳ vọng có điều kiện".

Đó là một dòng văn bản. Bằng chứng của Billingsley không ít mờ đục.

Tất nhiên họ đúng: tính chất quan trọng và rất trực quan của kỳ vọng có điều kiện này xuất phát trực tiếp (và gần như ngay lập tức) từ định nghĩa của nó - vấn đề duy nhất là, tôi nghi ngờ rằng định nghĩa này thường không được dạy, hoặc ít nhất là không được làm nổi bật, xác suất bên ngoài hoặc đo vòng tròn lý thuyết. Nhưng để thể hiện trong (gần như) ba dòng mà Luật kỳ vọng lặp lại, chúng ta cần định nghĩa về kỳ vọng có điều kiện, hay đúng hơn là thuộc tính xác định của nó .

Hãy để một không gian xác suất , và một biến ngẫu nhiên khả tích . Hãy để là một phụ -algebra của , . Sau đó, tồn tại một hàm là -measurable, có thể tích hợp và (đây là thuộc tính xác định) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

nơi là hàm chỉ thị của tập . Chúng ta nói rằng là ( "một phiên bản") kỳ vọng có điều kiện của cho , và chúng tôi viết $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ Các chi tiết quan trọng cần lưu ý ở đây là sự kỳ vọng có điều kiện, có giá trị kỳ vọng giống như không, không chỉ trên toàn bộ ,nhưng trong mỗi tập con của . $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(Tôi sẽ cố gắng trình bày cách tài sản Tháp xuất phát từ định nghĩa về kỳ vọng có điều kiện).

làbiến ngẫu nhiên -measurable. Xem xét sau đó một số phụ -algebra, nói . Sau đó, . Vì vậy, một cách tương tự như trước đây, chúng tôi có kỳ vọng có điều kiện của cho , nói $W$ $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ được đặc trưng bởi $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

Vì , phương trình và cho chúng ta $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

Nhưng điều này là tài sản quy định của kỳ vọng có điều kiện của cho . $Y$ $\mathcal H$ Vì vậy, chúng tôi có quyền viết Kể từ khi chúng tôi cũng có bằng cách xây dựng , chúng ta chỉ cần chứng minh tài sản Tower, hoặc dạng tổng quát của Luật lặp Expectations - trong vòng tám dòng. $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— Alecos Papadopoulos
nguồn

6

(+1) Đây là một cách hữu ích để mô tả một khái niệm trừu tượng và khó khăn. Tuy nhiên, tôi tin rằng cụm từ "... không lớn hơn ..." nên "không nhỏ hơn". Tốt hơn nữa, phần đó có thể được làm rõ hơn bằng cách loại bỏ các phủ định và sử dụng một cấu trúc song song, như trong "Đại số sigma được tạo bởi hai biến ít nhất lớn bằng một biến ngẫu nhiên ... Vì vậy, thông tin về

chứa trong

là ít nhất cũng tuyệt vời như các thông tin tương ứng trong

".

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

Cảm ơn cả hai, cc @whuber. Đây là một định lý rất hữu ích.

— JohnK

@ whuber Cảm ơn bạn đã phát hiện ra điều này - và cho gợi ý.

— Alecos Papadopoulos

24

Cách tôi hiểu kỳ vọng có điều kiện và dạy học sinh của mình như sau:

kỳ vọng có điều kiện là một hình ảnh chụp bằng máy ảnh với độ phân giải $E[Y|\sigma(X)]$ $\sigma(X)$

Như Alecos Papadopoulos đã đề cập, ký hiệu là chính xác hơn . Dọc theo dòng máy ảnh, người ta có thể nghĩ là đối tượng ban đầu, ví dụ: phong cảnh, phong cảnh. là một hình ảnh chụp bằng máy ảnh với độ phân giải $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$ . Kỳ vọng là toán tử trung bình (toán tử "làm mờ"?). Khung cảnh có thể chứa rất nhiều thứ, nhưng hình ảnh bạn chụp bằng máy ảnh có độ phân giải thấp chắc chắn sẽ khiến một số chi tiết biến mất, ví dụ, có thể có một UFO trên bầu trời có thể nhìn thấy bằng mắt thường của bạn nhưng nó không xuất hiện trong ảnh của bạn được chụp bởi (iphone 3?)

Nếu độ phân giải cao đến mức , thì ảnh này có thể chụp mọi chi tiết của khung cảnh thực. Trong trường hợp này, chúng ta có . $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

Bây giờ, có thể được xem như là: sử dụng máy ảnh khác với độ phân giải (ví dụ, iphone 1) thấp hơn so với (ví dụ, iphone 3) và chụp ảnh trên đó hình ảnh được tạo ra bởi máy ảnh với độ phân giải , sau đó nó nên được rõ ràng rằng $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ hình ảnh này trên một bức tranh nên được giống như nếu bạn ban đầu chỉ cần sử dụng một máy ảnh với độ phân giải thấp vào khung cảnh. $\sigma(X)$

Điều này cung cấp trực giác về . Trong thực tế, chính trực giác này cho chúng ta biết rằng $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$ vẫn. Điều này là do: nếu ảnh đầu tiên của bạn được chụp bởi iphone 1 (nghĩa là độ phân giải thấp) và bây giờ bạn muốn sử dụng máy ảnh tốt hơn (ví dụ: iphone 3) để tạo một ảnh khác trên ảnh đầu tiên, thì không có cách nào bạn có thể cải thiện chất lượng của bức ảnh đầu tiên.

— KevinKim
nguồn

2

yêu nó! :) giải thích tuyệt vời.

— jessica

1

@jessica Tôi rất vui vì nó giúp :-) Tôi phải mất một thời gian để đưa ra lời giải thích này

— KevinKim

21

Trong Định luật kỳ vọng lặp lại (LIE), , kỳ vọng bên trong đó là một biến ngẫu nhiên xảy ra là một hàm của , giả sử , chứ không phải là một chức năng của . Rằng kỳ vọng về chức năng này của xảy ra bằng với kỳ vọng của là hệ quả của LIE. Tất cả điều này là, vẫy tay, chỉ là sự khẳng định rằng giá trị trung bình của có thể được tìm thấy bằng cách tính trung bình $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ các giá trị trung bình của trong các điều kiện khác nhau. Trong thực tế, tất cả chỉ là hậu quả trực tiếp của quy luật xác suất tổng. Ví dụ: nếu và là các biến ngẫu nhiên rời rạc với khớp pmf , thì $Y$ $X$ $Y$ $p_{X,Y}(x,y)$ Lưu ý rằng kỳ vọng cuối cùng đối với; là một hàm của, không phải của, tuy nhiên ý nghĩa của nó cũng giống như giá trị trung bình của.

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$

X

$X$

Y

$Y$

Y

$Y$

Các LIE khái quát hóa mà bạn đang xem xét có trên trái trong đó kỳ vọng bên trong là một hàm của hai biến ngẫu nhiên và . Đối số tương tự như đã nêu ở trên nhưng bây giờ chúng ta phải chỉ ra rằng biến ngẫu nhiên bằng với một biến ngẫu nhiên khác. Chúng tôi làm điều này bằng cách nhìn vào giá trị của $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ khi xảy ra có giá trị . Bỏ qua các giải thích, chúng ta có $E[Y\mid X]$ $X$ $x$ Lưu ý rằng các bên áp chót đúng là công thức chogiá trị kỳ vọng có điều kiệncủa biến ngẫu nhiên(một chức năng củavà) lạnhvào giá trị của. Chúng tôi đang sửađể có giá trị, nhân các giá trị của biến ngẫu nhiên

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$

X

$X$

X

$X$

x

$x$

bằnggiá trị pmf cóđiều kiệncủa

cho

và tổng hợp tất cả các điều khoản đó.

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

Do đó, với mỗi giá trị của biến ngẫu nhiên , giá trị của biến ngẫu nhiên (mà chúng tôi đã lưu ý trước đó là hàm của , không phải của ), giống như giá trị của biến ngẫu nhiên , nghĩa là hai biến ngẫu nhiên đều bình đẳng. Tôi sẽ LIE cho bạn? $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— Dilip Sarwate
nguồn