Trực giác về định nghĩa hiệp phương sai

Tôi đã cố gắng hiểu Hiệp phương sai của hai biến ngẫu nhiên tốt hơn và hiểu người đầu tiên nghĩ về nó như thế nào, đã đi đến định nghĩa được sử dụng thường xuyên trong thống kê. Tôi đã đi đến wikipedia để hiểu nó tốt hơn. Từ bài viết, có vẻ như số đo hoặc số lượng ứng cử viên tốt cho nên có các thuộc tính sau:$Cov(X,Y)$

1. Nó shoukd có một dấu dương khi hai biến ngẫu nhiên giống nhau (nghĩa là khi một biến tăng thì cái kia làm và khi cái kia giảm thì cái kia cũng vậy).
2. Chúng tôi cũng muốn nó có dấu âm khi hai biến ngẫu nhiên tương tự nhau (nghĩa là khi tăng một biến ngẫu nhiên khác có xu hướng giảm)
3. Cuối cùng, chúng tôi muốn đại lượng hiệp phương sai này bằng 0 (hoặc cực kỳ nhỏ có lẽ?) Khi hai biến độc lập với nhau (nghĩa là chúng không thay đổi đối với nhau).

Từ các thuộc tính trên, chúng tôi muốn xác định . Câu hỏi đầu tiên của tôi là, nó không hoàn toàn rõ ràng đối với tôi tại sao thỏa mãn các tính chất đó. Từ các tính chất chúng ta có, tôi đã mong đợi nhiều hơn một phương trình giống như "phái sinh" để trở thành ứng cử viên lý tưởng. Ví dụ, một cái gì đó giống như, "nếu thay đổi trong X dương, thì thay đổi trong Y cũng phải là dương". Ngoài ra, tại sao việc lấy sự khác biệt từ nghĩa "điều" chính xác phải làm?$Cov(X,Y)$$Cov(X,Y) = E[(X-E[X])(Y-E[Y])]$

Một câu hỏi tiếp tuyến hơn, nhưng vẫn thú vị, liệu có một định nghĩa khác có thể thỏa mãn những tính chất đó và vẫn có thể có ý nghĩa và hữu ích? Tôi đang hỏi điều này bởi vì dường như không ai thắc mắc tại sao chúng ta lại sử dụng định nghĩa này ngay từ đầu (cảm giác giống như "nó luôn luôn như vậy", theo tôi, là một lý do khủng khiếp và nó cản trở khoa học và tò mò toán học và suy nghĩ). Là định nghĩa được chấp nhận là định nghĩa "tốt nhất" mà chúng ta có thể có?

Đây là những suy nghĩ của tôi về lý do tại sao định nghĩa được chấp nhận có ý nghĩa (nó sẽ chỉ là một đối số trực quan):

Đặt là một số khác biệt của biến X (nghĩa là nó đã thay đổi từ một giá trị này sang một giá trị khác tại một số thời điểm). Tương tự như vậy để xác định .$\Delta_X$$\Delta_Y$

Đối với một trường hợp trong thời gian, chúng ta có thể tính toán xem chúng có liên quan hay không bằng cách thực hiện:

Điều này có phần tốt đẹp! Đối với một trường hợp trong thời gian, nó đáp ứng các thuộc tính chúng ta muốn. Nếu cả hai cùng tăng, thì hầu hết thời gian, đại lượng trên phải dương (và tương tự khi chúng tương tự nhau, nó sẽ âm, vì sẽ có dấu hiệu ngược lại).$Delta$

Nhưng điều đó chỉ mang lại cho chúng ta số lượng mà chúng ta muốn trong một trường hợp và vì chúng là rv nên chúng ta có thể phù hợp nếu chúng ta quyết định dựa trên mối quan hệ của hai biến chỉ dựa trên 1 quan sát. Vậy thì tại sao không kỳ vọng điều này để thấy sản phẩm "trung bình" của sự khác biệt.

Mà nên nắm bắt trung bình những gì mối quan hệ trung bình là như được xác định ở trên! Nhưng vấn đề duy nhất giải thích này là, chúng ta đo lường sự khác biệt này từ đâu? Điều này dường như được giải quyết bằng cách đo sự khác biệt này từ giá trị trung bình (mà vì lý do nào đó là điều chính xác phải làm).

Tôi đoán vấn đề chính tôi có với định nghĩa là lấy sự khác biệt ở dạng trung bình . Tôi dường như không thể biện minh cho điều đó với bản thân mình.

Việc giải thích cho dấu hiệu có thể được để lại cho một câu hỏi khác, vì nó dường như là một chủ đề phức tạp hơn.

Hãy tưởng tượng chúng ta bắt đầu với một chồng số trống. Sau đó, chúng tôi bắt đầu vẽ các cặp từ phân phối chung của chúng. Một trong bốn điều có thể xảy ra:$(X,Y)$

1. Nếu cả X và Y đều lớn hơn thì trung bình tương ứng của chúng, chúng ta nói rằng cặp tương tự nhau và vì vậy chúng tôi đặt một số dương vào ngăn xếp.
2. Nếu cả X và Y đều nhỏ hơn thì trung bình tương ứng của chúng, chúng ta nói rằng cặp tương tự nhau và đặt một số dương vào ngăn xếp.
3. Nếu X lớn hơn mức trung bình của nó và Y nhỏ hơn mức trung bình của chúng tôi, chúng tôi nói rằng cặp này không giống nhau và đặt số âm vào ngăn xếp.
4. Nếu X nhỏ hơn mức trung bình của nó và Y lớn hơn mức trung bình của nó, chúng tôi nói rằng cặp này không giống nhau và đặt số âm vào ngăn xếp.

Sau đó, để có được số đo tổng thể về độ tương tự (dis-) của X và Y, chúng ta cộng tất cả các giá trị của các số trên ngăn xếp. Một tổng dương cho thấy các biến di chuyển theo cùng một hướng cùng một lúc. Một tổng âm cho thấy các biến di chuyển theo hướng ngược lại thường xuyên hơn không. Tổng bằng không cho thấy việc biết hướng của một biến không cho bạn biết nhiều về hướng của biến khác.

Điều quan trọng là phải suy nghĩ về 'lớn hơn trung bình' thay vì chỉ 'lớn' (hoặc 'tích cực') bởi vì bất kỳ hai biến không âm nào sau đó sẽ được đánh giá là tương tự nhau (ví dụ: kích thước của vụ tai nạn xe hơi tiếp theo trên M42 và số lượng vé mua tại ga tàu Paddington vào ngày mai).

Công thức hiệp phương sai là một chính thức của quá trình này:

$\text{Cov}(X,Y)=\mathbb E[(X−E[X])(Y−E[Y])]$

Sử dụng phân phối xác suất thay vì mô phỏng monte carlo và chỉ định kích thước của số chúng tôi đặt trên ngăn xếp.

Đây là cách trực quan của tôi khi nhìn vào nó mà không có bất kỳ phương trình nào.

1. Đó là một khái quát của phương sai cho kích thước cao hơn. Động lực có lẽ đến từ việc cố gắng mô tả cách hành xử của dữ liệu. Theo thứ tự đầu tiên, chúng tôi có vị trí của nó - giá trị trung bình. Đến lệnh thứ hai, chúng ta có sự phân tán - hiệp phương sai.

   Tôi đoán vấn đề chính tôi có với định nghĩa là lấy sự khác biệt ở dạng trung bình. Tôi dường như không thể biện minh cho điều đó với bản thân mình.

   sự phân tán được đánh giá liên quan đến trung tâm phân phối. Định nghĩa cơ bản nhất của phương sai là 'độ lệch trung bình so với giá trị trung bình'. do đó, bạn phải trừ trung bình trong trường hợp Hiệp phương sai.

2. Một động lực cơ bản khác xuất hiện trong đầu là nhu cầu xác định cách đo khoảng cách giữa các biến ngẫu nhiên. Khoảng cách Mahalanobis và Hiệp phương sai song hành: Đưa ra phân phối Gaussian và hai mẫu khác có khoảng cách Euclide bằng với giá trị trung bình phân phối. Nếu tôi hỏi bạn mẫu nào có nhiều khả năng là ngoại lệ không được rút ra từ phân bố gaussian, khoảng cách Euclide sẽ không làm được. Khoảng cách Mahalanobis có một sự khác biệt đáng chú ý duy nhất so với khoảng cách Euclide: nó tính đến sự phân tán (Hiệp phương sai) của phân phối. Điều này cho phép bạn khái quát khoảng cách đến các biến ngẫu nhiên.

3. Cuối cùng, chúng tôi muốn đại lượng hiệp phương sai này bằng 0 (hoặc cực kỳ nhỏ có lẽ?) Khi hai biến độc lập với nhau (nghĩa là chúng không thay đổi đối với nhau).

OK, chúng ta hãy xem xét hai độc lập Bernoulli biến ngẫu nhiên và . Nếu bạn đồng ý cho phép có nghĩa là hiệp phương sai nhưng bịt miệng trong phép trừ của giá trị trung bình, thì chúng ta có thể dễ dàng tính toán rằng khá nhỏ. Nhưng còn các biến ngẫu nhiên độc lập và mà thì sao? Vì vậy, hiệp phương sai không bằng không (hoặc có lẽ chỉ nhỏ) như bạn muốn nó là cho các biến ngẫu nhiên độc lập. Mặt khác, cov định nghĩa tiêu chuẩn$\left(\frac 12\right)$$X$$Y$$E[XY]$$E[XY] = \frac 14$$\hat{X}=1000X$$\hat Y = 1000Y$$E[\hat X \hat Y] = 250,000$$(X,Y) = E[(X-E[X])(Y-E[Y])]$ không có khuyết điểm như vậy, cho giá trị 0 là giá trị hiệp phương sai trong cả hai trường hợp đơn giản được mô tả ở trên.

2. Chúng tôi cũng muốn nó có dấu âm khi hai biến ngẫu nhiên tương tự nhau (nghĩa là khi tăng một biến ngẫu nhiên khác có xu hướng giảm)

Vì vậy, bây giờ, hãy xem xét như trước nhưng xác định . Một điều rất rõ ràng là khi một biến tăng thì biến còn lại giảm. Nhưng, trong khi định nghĩa chuẩn cov mang lại giá trị âm như bạn muốn.$X$$Y = 1-X$$E[XY]=0$$(X,Y) = E[(X-E[X])(Y-E[Y])]$

1. Nó nên (sic) có dấu dương khi hai biến ngẫu nhiên giống nhau (nghĩa là khi một biến tăng thì cái kia làm và khi cái kia giảm thì cái kia cũng vậy).

Một lần nữa, hãy để như trước nhưng bây giờ xác định . Rõ ràng là khi một biến tăng, thì biến khác cũng tăng. Nhưng, âm thay vì dương theo cách bạn muốn, trong khi đó định nghĩa chuẩn cov mang lại giá trị dương như bạn muốnY = X - 1 E [ X Y ] ( X , Y ) = E [ ( X - E [ X ] ) ( Y - E [ Y ] ) $X$$Y = X-1$$E[XY]$$(X,Y) = E[(X-E[X])(Y-E[Y])]$

Cuối cùng, độ nét tiêu chuẩn của hiệp phương sai đơn giản để định nghĩa về sai khi .$X = Y$

Tôi đã tự hỏi về cùng một câu hỏi, và trực giác được đưa ra bởi những phỏng đoán đã giúp tôi. Để hình dung trực giác, tôi lấy hai vectơ bình thường ngẫu nhiên là x và y, vẽ sơ đồ phân tán và tô màu từng điểm bằng tích của độ lệch so với phương tiện tương ứng của chúng (màu xanh dương cho giá trị dương, màu đỏ cho âm).

Như rõ ràng từ cốt truyện, sản phẩm là tích cực nhất trong các góc phần tư phía trên bên phải và dưới cùng bên trái, trong khi nó là tiêu cực nhất trong các góc phần tư phía dưới bên phải và phía trên bên trái. Hiệu ứng tổng hợp các sản phẩm sẽ dẫn đến 0, vì các điểm màu xanh sẽ loại bỏ các điểm màu đỏ.

Nhưng bạn có thể thấy rằng nếu chúng tôi loại bỏ các điểm đỏ, dữ liệu còn lại thể hiện mối quan hệ tích cực với nhau, được xác thực bằng tổng số tích cực của sản phẩm (nghĩa là tổng các điểm màu xanh).

trong không gian vectơ của các biến ngẫu nhiên, việc xác định bình phương khoảng cách giữa hai biến ngẫu nhiên x và y với E {(xy) ^ 2} là hợp lý đối với định nghĩa này về sản phẩm chấm khoảng cách hoặc quan hệ của các biến ngẫu nhiên sẽ là E {xy} rất giống với định nghĩa hiệp phương sai ngoại trừ các thuật ngữ -E {x} và -E {y} dành cho loại chuẩn hóa.