Độ tuyến tính của phương sai

15

Tôi nghĩ rằng hai công thức sau đây là đúng:

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ trong khi a là số không đổi

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$ nếu

X

$X$ ,

Y

$Y$ độc lập

Tuy nhiên, tôi không chắc điều gì sai với phần dưới đây:

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ không bằng

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$ , tức là

4 V a r (X)

$4\mathrm{Var}(X)$ .

Nếu giả sử $X$ là mẫu được lấy từ dân số, tôi nghĩ chúng ta luôn có thể giả sử $X$ độc lập với các khác $X$ .

Vì vậy, có gì sai với sự nhầm lẫn của tôi?

variance linearity fallacy

— lanselibai
nguồn

8

Phương sai không phải là tuyến tính - câu lệnh đầu tiên của bạn cho thấy điều này (nếu có, bạn sẽ có

. Mặt khác, hiệp phương sai là song tuyến.

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$

— Batman

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

Vấn đề với lý luận của bạn là

"Tôi nghĩ rằng chúng ta luôn có thể cho rằng độc lập với các khác ." $X$ $X$

không phải là độc lập với . Ký hiệu đang được sử dụng để chỉ cùng một biến ngẫu nhiên ở đây. Khi bạn biết giá trị của đầu tiênxuất hiện trong công thức của mình, điều này cũng sửa giá trị của thứ haixuất hiện. Nếu bạn muốn chúng tham chiếu đến các biến ngẫu nhiên riêng biệt (và có khả năng độc lập), bạn cần biểu thị chúng bằng các chữ cái khác nhau (ví dụ và ) hoặc sử dụng các chỉ số (ví dụ và ); cái sau thường (nhưng không phải luôn luôn) được sử dụng để biểu thị các biến được rút ra từ cùng một phân phối. $X$ $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

Nếu hai biến và là độc lập sau đó cũng giống như : biết giá trị của không cho chúng tôi bất kỳ thông tin bổ sung về giá trị của . Nhưng là nếu và nếu không: biết giá trị của $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ cung cấp cho bạn thông tin đầy đủ về giá trị của . [Bạn có thể thay thế các xác suất trong đoạn này bằng các hàm phân phối tích lũy hoặc khi các hàm mật độ xác suất phù hợp, về cơ bản có cùng tác dụng.] $X$

Một cách khác để nhìn thấy điều là nếu hai biến độc lập sau đó họ có không tương quan (mặc dù không tương quan nào không bao hàm sự độc lập !) Nhưng là một cách hoàn hảo tương quan với chính nó, nên không thể độc lập Của chính nó. Lưu ý rằng kể từ khi hiệp phương sai được cho bởi $X$ $\Corr(X,X)=1$ $X$ , sau đó $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

Công thức tổng quát hơn cho phương sai của tổng hai biến ngẫu nhiên là

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

Cụ thể, , vì vậy $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

điều này giống như bạn đã suy luận từ việc áp dụng quy tắc

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

Nếu bạn quan tâm đến tính tuyến tính, thì bạn có thể quan tâm đến tính song phương của hiệp phương sai. Đối với các biến ngẫu nhiên , , và (dù phụ thuộc hay độc lập) và hằng số , , và chúng ta có $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

và tổng thể,

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

Sau đó, bạn có thể sử dụng điều này để chứng minh kết quả (phi tuyến tính) cho phương sai mà bạn đã viết trong bài đăng của mình:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

The latter gives, as a special case when $a=b=1$ ,

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

When $X$ and $Y$ are uncorrelated (which includes the case where they are independent), then this reduces to $\Var(X+Y) = \Var(X) + \Var(Y)$ . So if you want to manipulate variances in a "linear" way (which is often a nice way to work algebraically), then work with the covariances instead, and exploit their bilinearity.

— Silverfish
nguồn

1

Yes! I think you pinpointed at the beginning that the confusion was essentially a notational one. I found it very helpful when one book (very explicitly, some might say laboriously) explained the interpretation of and rules of evaluating a probabilistic statement (so that, e.g., even if you know what you mean by

Pr (X + X = n)

$\Pr (X+X=n)$ where

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$ , it is technically incorrect if you're considering throwing a

n

$n$ in craps (and

X + X = 2 X

$X+X=2X$ would never yield an odd roll); the event would be properly expressed using

X_{1}, X_{2}

$X_1,X_2$ i.i.d.).

— Vandermonde

1

This is in contrast to (and I think my misapprehension might have stemmed from) how 2+PRNG(6)+PRNG(6) often is how you would toss dice as above and/or notation/conventions such as

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$ in which different instances are genuinely intended to be independent.

— Vandermonde

@Vandermonde That's an interesting point. I initially considered mentioning the use of subscripts to distinguish between "different

X

$X$ s" but didn't bother - think I might edit it in now. The argument that "you'd never get an odd total score if the sum was

2 X

$2X$ " is very clear and convincing to someone who can't see the need to distinguish: thanks for sharing it.

— Silverfish

0

Another way of thinking about it is that with random variables $2X \neq X + X$ .

$2X$ would mean two times the value of the outcome of $X$ , while $X + X$ would mean two trials of $X$ . In other words, it's the difference between rolling a die once and doubling the result, vs rolling a die twice.

— Benjamin
nguồn

+1 This is a perfectly clear and correct answer. Welcome to our site!

— whuber

Thanks @whuber!

— Benjamin