Liệu hiệp phương sai bằng 0 có nghĩa là sự độc lập cho các biến ngẫu nhiên nhị phân không?

Nếu và là hai biến ngẫu nhiên chỉ có thể có hai trạng thái có thể, làm thế nào tôi có thể chỉ ra rằng ngụ ý độc lập? Kiểu này đi ngược lại với những gì tôi học được vào ngày mà không bao hàm sự độc lập ...$X$$Y$$Cov(X,Y) = 0$$Cov(X,Y) = 0$

Gợi ý nói bắt đầu bằng $1$ và $0$ là các trạng thái có thể và khái quát hóa từ đó. Và tôi có thể làm điều đó và hiển thị $E(XY) = E(X)E(Y)$ , nhưng điều này không bao hàm sự độc lập ???

Tôi đoán là không biết làm thế nào để làm điều này một cách toán học.

Đối với các biến nhị phân, giá trị kỳ vọng của chúng bằng với xác suất chúng bằng một. Vì thế,

$$E(XY) = P(XY = 1) = P(X=1 \cap Y=1) \\ E(X) = P(X=1) \\ E(Y) = P(Y=1) \\ $$

Nếu cả hai có hiệp phương sai bằng 0, điều này có nghĩa là $E(XY) = E(X)E(Y)$ , có nghĩa là

$$P(X=1 \cap Y=1) = P(X=1) \cdot P(Y=1)$$

Thật là tầm thường khi thấy tất cả các xác suất chung khác cũng nhân lên, sử dụng các quy tắc cơ bản về các sự kiện độc lập (nghĩa là nếu $A$ và $B$ độc lập thì phần bổ sung của chúng là độc lập, v.v.), có nghĩa là hàm khối chung sẽ là yếu tố định nghĩa, đó là định nghĩa của hai biến ngẫu nhiên là độc lập.

Cả hai mối tương quan và hiệp phương sai đo liên kết tuyến tính giữa hai biến đã cho và không có nghĩa vụ phải phát hiện bất kỳ hình thức liên kết nào khác.

Vì vậy, hai biến đó có thể được liên kết theo một số cách phi tuyến tính khác và hiệp phương sai (và do đó, mối tương quan) không thể phân biệt với trường hợp độc lập.

Là một rất mô phạm, nhân tạo và gương phi thực tế, người ta có thể xem xét mà P ( X = x ) = 1 / 3 cho x = - 1 , 0 , 1 và cũng xem xét Y = X 2 . Lưu ý rằng chúng không chỉ được liên kết, mà một là một chức năng của người khác. Tuy nhiên, hiệp phương sai của họ là 0, vì hiệp hội của họ là trực giao với hiệp hội mà hiệp phương sai có thể phát hiện ra.$X$$P(X=x)=1/3$$x=−1,0,1$$Y=X^2$

BIÊN TẬP

Thật vậy, như được chỉ ra bởi @whuber, câu trả lời ban đầu ở trên thực sự là một nhận xét về cách khẳng định không phổ biến đúng nếu cả hai biến không nhất thiết phải phân đôi. Lỗi của tôi!

Vì vậy, hãy toán học lên. (Tương đương với địa phương của "Suit up!" Của Barney Stinson)

Trương hợp đ̣ăc biệt

Nếu cả và Y đều phân đôi, thì bạn có thể giả sử, không mất tính tổng quát, cả hai chỉ giả sử các giá trị 0 và 1 với xác suất tùy ý p , q và r được cho bởi P ( X = 1 ) = p ∈ [ 0 , 1 ] P ( Y = 1 ) = q ∈ [ 0 , 1 ] P ( X = 1 , $X$$Y$$0$$1$$p$$q$$r$ trong đó đặc trưng hoàn toàn sự phân bố chung củaXvàY. Lấy gợi ý của @ DilipSarwate, lưu ý rằng ba giá trị đó là đủ để xác định phân phối chung của(X,Y), vì P ( X = 0 , Y = 1

$$\begin{align*} P(X=1) = p \in [0,1] \\ P(Y=1) = q \in [0,1] \\ P(X=1,Y=1) = r \in [0,1], \end{align*}$$ $X$$Y$$(X,Y)$ (Trên một ghi chú bên, tất nhiênrbuộc phải tôn trọng cảp-r∈[0,1],q-r∈[0,1]và1-p-q-r∈ $$\begin{align*} P(X=0,Y=1) &= P(Y=1) - P(X=1,Y=1) = q - r\\ P(X=1,Y=0) &= P(X=1) - P(X=1,Y=1) = p - r\\ P(X=0,Y=0) &= 1 - P(X=0,Y=1) - P(X=1,Y=0) - P(X=1,Y=1) \\ &= 1 - (q - r) - (p - r) - r = 1 - p - q - r. \end{align*}$$ $r$$p-r\in[0,1]$$q-r\in[0,1]$ ngoài r ∈ [ 0 , 1 ] , nghĩa là r ∈ [ 0 , min ( p , q , 1 - p - q ) ] .)$1-p-q-r\in[0,1]$$r\in[0,1]$$r\in[0,\min(p,q,1-p-q)]$

Lưu ý rằng có thể bằng sản phẩm p ⋅ q = P ( X = 1 ) P ( Y = 1 ) , sẽ làm cho X và Y độc lập, vì P ( X = 0 , Y = 0 $r = P(X=1,Y=1)$$p\cdot q = P(X=1) P(Y=1)$$X$$Y$

$$\begin{align*} P(X=0,Y=0) &= 1 - p - q - pq = (1-p)(1-q) = P(X=0)P(Y=0)\\ P(X=1,Y=0) &= p - pq = p(1-q) = P(X=1)P(Y=0)\\ P(X=0,Y=1) &= q - pq = (1-p)q = P(X=0)P(Y=1). \end{align*}$$

Có, có thể bằng p q , NHƯNG nó có thể khác, miễn là nó tôn trọng các ranh giới ở trên.$r$$pq$

Chà, từ phân phối chung ở trên, chúng ta sẽ có

$$\begin{align*} E(X) &= 0\cdot P(X=0) + 1\cdot P(X=1) = P(X=1) = p \\ E(Y) &= 0\cdot P(Y=0) + 1\cdot P(Y=1) = P(Y=1) = q \\ E(XY) &= 0\cdot P(XY=0) + 1\cdot P(XY=1) \\ &= P(XY=1) = P(X=1,Y=1) = r\\ Cov(X,Y) &= E(XY) - E(X)E(Y) = r - pq \end{align*}$$

Now, notice then that $X$ and $Y$ are independent if and only if $Cov(X,Y)=0$. Indeed, if $X$ and $Y$ are independent, then $P(X=1,Y=1)=P(X=1)P(Y=1)$, which is to say $r=pq$. Therefore, $Cov(X,Y)=r-pq=0$; and, on the other hand, if $Cov(X,Y)=0$, then $r-pq=0$, which is to say $r=pq$. Therefore, $X$ and $Y$ are independent.

General Case

About the without loss of generality clause above, if $X$ and $Y$ were distributed otherwise, let's say, for $a<b$ and $c<d$,

$$\begin{align*} P(X=b)=p \\ P(Y=d)=q \\ P(X=b, Y=d)=r \end{align*}$$ then $X'$ and $Y'$ given by $$X'=\frac{X-a}{b-a} \qquad \text{and} \qquad Y'=\frac{Y-c}{d-c}$$ would be distributed just as characterized above, since $$X=a \Leftrightarrow X'=0, \quad X=b \Leftrightarrow X'=1, \quad Y=c \Leftrightarrow Y'=0 \quad \text{and} \quad Y=d \Leftrightarrow Y'=1.$$ So $X$ and $Y$ are independent if and only if $X'$ and $Y'$ are independent.

Also, we would have

$$\begin{align*} E(X') &= E\left(\frac{X-a}{b-a}\right) = \frac{E(X)-a}{b-a} \\ E(Y') &= E\left(\frac{Y-c}{d-c}\right) = \frac{E(Y)-c}{d-c} \\ E(X'Y') &= E\left(\frac{X-a}{b-a} \frac{Y-c}{d-c}\right) = \frac{E[(X-a)(Y-c)]}{(b-a)(d-c)} \\ &= \frac{E(XY-Xc-aY+ac)}{(b-a)(d-c)} = \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} \\ Cov(X',Y') &= E(X'Y')-E(X')E(Y') \\ &= \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} - \frac{E(X)-a}{b-a} \frac{E(Y)-c}{d-c} \\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)-a] [E(Y)-c]}{(b-a)(d-c)}\\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)E(Y)-cE(X)-aE(Y)+ac]}{(b-a)(d-c)}\\ &= \frac{E(XY)-E(X)E(Y)}{(b-a)(d-c)} = \frac{1}{(b-a)(d-c)} Cov(X,Y). \end{align*}$$ So $Cov(X,Y)=0$ if and only $Cov(X',Y')=0$.

=D

IN GENERAL:

The criterion for independence is $F(x,y) = F_X(x)F_Y(y)$. Or

$$f_{X,Y}(x,y)=f_X(x)\,f_Y(y)\tag 1$$

"If two variables are independent, their covariance is $0.$ But, having a covariance of $0$ does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

$\text {independence} \Rightarrow \text{zero cov}$, yet

$\text{zero cov}\nRightarrow \text{independence}.$

Great example: $X \sim N(0,1)$, and $Y= X^2.$ Covariance is zero (and $\mathbb E(XY)=0$, which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.

---

IN PARTICULAR (OP problem):

These are Bernoulli rv's, $X$ and $Y$ with probability of success $\Pr(X=1)$, and $\Pr(Y=1)$.

$\begin{align}\mathrm{cov}(X,Y)&=\mathrm E[XY] - \mathrm E[X]\,\mathrm E[Y]\\[2ex] &\underset{*}{=} \Pr(X=1 \cap Y=1) - \Pr(X=1)\, \Pr(Y=1)\\[2ex] &\implies \Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1). \end{align}$

This is equivalent to the condition for independence in Eq. $(1).$

---

$(*)$:

$$\mathrm E[XY]\quad \underset{**}{=} \quad \displaystyle \sum_{\text{domain X, Y}} \Pr(X=x\cap Y=y)\, x\,y \underset{\neq\,0\text{ iff } x \times y\neq 0}= \Pr(X=1 \cap Y=1).$$

$(**)$: by LOTUS.

---

As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events $A$ and $B$ are independent, then events $A^c$ and $B$ are independent, and events $A^c$ and $B^c$ are also independent.

Proof By definition,

$A$ and $B$ are independent $\iff P(A\cap B) = P(A)P(B).$

But $B=(A\cap B) + ( A^c \cup B)$, so $P(B)= P(A\cap B) + P(A^c \cup B)$, which yields:

$\small P(A^c \cap B) = P(B) - P(A\cap B) = P(B) - P(A)\,P(B) = P(B) \left[1 - P(A)\right] = P(B)\,P( A^c).$

Repeat the argument for the events $A^c$ and $B^c,$ this time starting from the statement that $A^c$ and $B$ are independent and taking the complement of $B.$

Similarly. $A$ and $B^c$ are independent events.

So, we have shown already that

$$\Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1)$$ and the above shows that this implies that $$\Pr(X=i , Y=j) = \Pr (X=i)\,\Pr(Y=j), ~~i, j \in \{0,1\}$$ that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at $(1,1)$. Hence, uncorrelated Bernoulli random variables $X$ and $Y$ are also independent random variables.