Có thể có một cặp biến ngẫu nhiên Gaussian mà phân phối chung không phải là Gaussian?

Ai đó đã hỏi tôi câu hỏi này trong một cuộc phỏng vấn xin việc và tôi đã trả lời rằng phân phối chung của họ luôn là Gaussian. Tôi nghĩ rằng tôi luôn có thể viết một Gaussian bivariate với phương tiện và phương sai và hiệp phương sai của chúng. Tôi tự hỏi nếu có thể có một trường hợp mà xác suất chung của hai Gaussian không phải là Gaussian?

Phân phối chuẩn bivariate là ngoại lệ , không phải là quy tắc!

Điều quan trọng là phải nhận ra rằng "hầu hết tất cả" các phân phối chung có biên bình thường không phải là phân phối chuẩn bivariate. Đó là, quan điểm phổ biến rằng các phân phối chung với các lề bình thường không phải là bivariate bình thường bằng cách nào đó là "bệnh lý", là một chút sai lầm.

Chắc chắn, thông thường đa biến là cực kỳ quan trọng do tính ổn định của nó dưới các phép biến đổi tuyến tính, và do đó nhận được phần lớn sự chú ý trong các ứng dụng.

Ví dụ

Nó rất hữu ích để bắt đầu với một số ví dụ. Hình dưới đây chứa các bản đồ nhiệt của sáu bản phân phối bivariate, tất cả đều có lề bình thường tiêu chuẩn. Các bên trái và giữa ở hàng trên cùng là quy tắc bivariate, những cái còn lại là không (như nên rõ ràng). Chúng được mô tả thêm dưới đây.

Xương cốt của công thức

Các thuộc tính của sự phụ thuộc thường được phân tích hiệu quả bằng cách sử dụng các công thức . Một copula bivariate chỉ là một cái tên ưa thích cho phân phối xác suất trên bình phương đơn vị với các lề đồng nhất .$[0,1]^2$

Giả sử là một copula bivariate. Sau đó, ngay lập tức từ trên, chúng ta biết rằng , và , ví dụ.C ( u , v ) ≥ 0 C ( u , 1 ) = u C ( 1 , v ) = $C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

Chúng ta có thể xây dựng các biến ngẫu nhiên bivariate trên mặt phẳng Euclide với các lề được chỉ định trước bằng cách chuyển đổi đơn giản một copula bivariate. Đặt và được phân phối biên quy định cho một cặp biến ngẫu nhiên . Sau đó, nếu là một copula bivariate, là một hàm phân phối hai biến có biên và . Để xem sự thật cuối cùng này, chỉ cần lưu ý rằng Đối số tương tự hoạt động cho .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ $F_1$$F_2$ $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$

Đối với và liên tục , định lý của Sklar khẳng định tính độc đáo ngụ ý. Nghĩa là, được phân phối hai biến với các lề liên tục , , copula tương ứng là duy nhất (trên không gian phạm vi thích hợp).$F_1$$F_2$$F(x,y)$$F_1$$F_2$

Bình thường bivariate là đặc biệt

Định lý của Sklar cho chúng ta (về cơ bản) rằng chỉ có một copula tạo ra phân phối chuẩn bivariate. Đây được đặt tên một cách khéo léo, copula Gaussian có mật độ trên trong đó tử số là phân phối chuẩn của bivariate với tương quan đánh giá tại và .$[0,1]^2$

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

Tuy nhiên, có rất nhiều công thức khác và tất cả chúng sẽ phân phối bivariate với các lề bình thường không phải là bivariate bình thường bằng cách sử dụng phép biến đổi được mô tả trong phần trước.

Một số chi tiết về các ví dụ

Lưu ý rằng nếu là copula tùy ý với mật độ , mật độ bivariate tương ứng với các lề bình thường tiêu chuẩn theo phép biến đổi là $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

Lưu ý rằng bằng cách áp dụng copula Gaussian trong phương trình trên, chúng tôi phục hồi mật độ chuẩn bivariate. Nhưng, đối với bất kỳ lựa chọn nào khác của , chúng tôi sẽ không.$c(u,v)$

Các ví dụ trong hình được xây dựng như sau (đi qua từng hàng, mỗi cột một lần):

1. Bivariate bình thường với các thành phần độc lập.
2. Biến đổi bình thường với .$\rho = -0.4$
3. Các ví dụ được đưa ra trong câu trả lời này của Dilip Sarwate . Nó có thể dễ dàng được nhìn thấy bởi copula với mật độ .$C(u,v)$$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. Được tạo từ copula Frank với tham số .$\theta = 2$
5. Được tạo từ copula Clayton với tham số .$\theta = 1$
6. Được tạo ra từ một sửa đổi không đối xứng của copula Clayton với tham số .$\theta = 3$

Đúng là mỗi phần tử của một vectơ bình thường đa biến được phân phối bình thường và bạn có thể suy ra phương tiện và phương sai của chúng. Tuy nhiên, không có sự thật rằng bất kỳ hai biến ngẫu nhiên Guassian nào được phân phối chung. Đây là một ví dụ:

Chỉnh sửa: Đáp lại sự đồng thuận rằng một biến ngẫu nhiên có khối lượng điểm có thể được coi là biến phân phối bình thường với , tôi đang thay đổi ví dụ của mình.$\sigma^2=0$

---

Đặt và đặt trong đó là biến ngẫu nhiên . Nghĩa là, mỗi cái có xác suất .$X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

Trước tiên chúng tôi cho thấy có phân phối chuẩn thông thường. $Y$Theo định luật tổng xác suất ,

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

Kế tiếp,

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

Trong đó là CDF bình thường tiêu chuẩn . Tương tự$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

Vì thế,

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

vì vậy, CDF của là , do đó .$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

Bây giờ chúng tôi chỉ ra rằng không được phân phối chung. $X,Y$Như @cardinal chỉ ra, một đặc điểm của bình thường đa biến là mọi tổ hợp tuyến tính của các phần tử của nó thường được phân phối. không có tài sản này, vì$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

Do đó, là hỗn hợp của biến ngẫu nhiên và khối lượng điểm tại 0, do đó không thể phân phối bình thường.$Y+X$$50/50$$N(0,4)$

Bài viết sau đây chứa một phác thảo của một bằng chứng, chỉ để đưa ra những ý chính và giúp bạn bắt đầu.

Đặt là hai biến ngẫu nhiên Gaussian độc lập và đặt là $z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

Mỗi , nhưng vì cả hai đều là kết hợp tuyến tính của cùng một r.vs độc lập, chúng phụ thuộc lẫn nhau.$X_i \sim N(\mu_i, \sigma_i^2)$

Định nghĩa Một cặp r.vs được gọi là bivariate phân phối bình thường nếu nó có thể được viết dưới dạng kết hợp tuyến tính của r.vs độc lập .$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

Bổ đề Nếu là một Gaussian hai biến, thì bất kỳ tổ hợp tuyến tính nào khác của chúng lại là một biến ngẫu nhiên bình thường.$x = (X_1, X_2)$

Bằng chứng . Tầm thường, bỏ qua để không xúc phạm ai.

Thuộc tính Nếu không tương thích, thì chúng độc lập và ngược lại.$X_1, X_2$

Phân phối$X_1 | X_2$

Giả sử là cùng một Gaussian r.vs như trước đây nhưng giả sử chúng có phương sai dương và không có nghĩa là đơn giản.$X_1, X_2$

Nếu là không gian con được kéo dài bởi , hãy để và .$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ và là kết hợp tuyến tính của , vì vậy cũng vậy. Họ là Gaussian chung, không tương quan (chứng minh điều đó) và độc lập.$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

Phân tách giữ với

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

Rồi

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

Hai biến ngẫu nhiên Gaussian đơn biến là Gaussian chung nếu các điều kiện và cũng là Gaussian.$X, Y$$X | Y$$Y|X$