Hiểu rằng trực giác

Tôi chỉ thấy câu hỏi này và câu trả lời tuyệt vời được chấp nhận trong diễn đàn này. Sau đó, tôi đã được kích hoạt để cố gắng hiểu trực giác tại sao việc phân chia đang bình thường hóa hiệp phương sai: $S_xS_y$

\frac{COV (X, Y)}{S_{x} S_{y}} \in [- 1, 1]

$\frac{\operatorname{COV}(X,Y)}{S_xS_y} \in [-1,1]$

Tôi nghĩ nó sẽ hữu ích nếu tôi chỉ hiểu tại sao bình thường hóa thành . Tất nhiên tôi hiểu rằng theo định nghĩa họ là bằng nhau. Nhưng câu hỏi của tôi về cơ bản là thế này: Sử dụng thuật ngữ của câu trả lời được chấp nhận, tại sao tổng số màu đỏ trong ô chính xác là (chính xác hơn, theo tôi hiểu, là nói tổng trong số các hình chữ nhật được chia theo sẽ là ). Ý tôi là, nếu chúng ta lấy mẫu của quan sát, hơn là chúng ta có hình chữ nhật, trong khi sử dụng định nghĩa, chúng ta phải tìm giá trị trung bình của chỉ giá trị. $S_xS_x$ $\operatorname{COV}(X,X)$ $1$ $S_xS_x = \operatorname{VAR}(X)$ $n^2$ $\operatorname{VAR}(X)$ $10$ $45$ $10$

— d_e
nguồn

Bài này trình bày một phương pháp lý luận mạnh mẽ mà tránh được rất nhiều đại số và tính toán. Đối với những người quen thuộc với phương pháp này, công việc rất tự động và tự nhiên đến nỗi câu trả lời ban đầu của một người cho câu hỏi như thế này là "nó hiển nhiên!" Nhưng có lẽ nó không quá rõ ràng cho đến khi bạn đã thấy phương pháp này. Do đó, tất cả các chi tiết được giải thích, từng bước.

Lý lịch

Có một số công thức cho phương sai của dữ liệu (với trung bình ), bao gồm $\mathbf{x}=x_1, x_2, \ldots, x_n$ $\bar x = (x_1+\cdots + x_n)/n$

\begin{matrix} (1) & Var (x) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} = \frac{1}{n} (\sum_{i = 1}^{n} x_{i}^{2}) - {\bar{x}}^{2} . \end{matrix}

$\operatorname{Var}(\mathbf{x}) = \frac{1}{n}\sum_{i=1}^n (x_i - \bar x)^2 = \frac{1}{n}\left(\sum_{i=1}^n x_i^2\right) - \bar x^2.\tag{1}$

Điều này xác định hiệp phương sai của dữ liệu được ghép nối thông qua $(x_1,y_1), \ldots, (x_n, y_n)$

Cov (x, y) = \frac{1}{4} (Var (x + y) - Var (x - y)) .

$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{4}\left(\operatorname{Var}(\mathbf{x}+\mathbf{y}) - \operatorname{Var}(\mathbf{x}-\mathbf{y})\right).$

Công thức ngụ ý trong bài viết hiệp phương sai với bút chì màu được tham chiếu là

\begin{matrix} (2) & C (x, y) = \sum_{i = 1}^{n - 1} \sum_{j = i + 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) = \frac{1}{2} \sum_{i, j = 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) . \end{matrix}

$C(\mathbf{x}, \mathbf{y}) = \sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i) = \frac{1}{2}\sum_{i,j=1}^n (x_j - x_i)(y_j - y_i).\tag{2}$

Bài đăng đó khẳng định tỷ lệ thuận với hiệp phương sai. Hằng số tỷ lệ có thể (và không) thay đổi theo . Do đó, khi một hàm ý của khẳng định này là $C$ $c(n)$ $n$ $\mathbf{x}=\mathbf{y}$

C (x, x) = c (n) Var (x) .

$C(\mathbf{x}, \mathbf{x}) = c(n) \operatorname{Var}(\mathbf{x}).$

Phân tích

Mặc dù điều này có thể được chứng minh bằng đại số vũ phu, nhưng có một cách tốt hơn: hãy khai thác các tính chất cơ bản của hiệp phương sai. Những tính chất đó sẽ là gì? Tôi muốn đề xuất những điều sau đây là cơ bản:

Vị trí độc lập. Đó là, cho mọi số . (Biểu thức đề cập đến tập dữ liệu .)
$Cov (x, y) = Cov (x - a, y)$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}-\mathbf{a}, \mathbf{y})$ $a$ $\mathbf{x}-\mathbf{a}$ $x_1-a, x_2-a, \ldots, x_n-a$
Đa tuyến. Điều này ngụ ý cho bất kỳ số nào . (Biểu thức đề cập đến bộ dữ liệu .)
$Cov (λ x, y) = λ Cov (x, y)$ $\operatorname{Cov}(\lambda\,\mathbf{x}, \mathbf{y}) = \lambda\,\operatorname{Cov}(\mathbf{x}, \mathbf{y})$ $\lambda$ $\lambda\mathbf{x}$ $\lambda x_1, \lambda x_2, \ldots, \lambda x_n$
Đối diện. Hiệp phương sai của và là hiệp phương sai của và : $\mathbf{x}$ $\mathbf{y}$ $\mathbf{y}$ $\mathbf{x}$
$Cov (x, y) = Cov (y, x) .$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) =\operatorname{Cov}(\mathbf{y}, \mathbf{x}).$
Bất biến dưới hoán vị. Hiệp phương sai không thay đổi khi chúng ta lập chỉ mục lại . Chính thức, cho mọi hoán vị . (Các biểu thức như thể hiện việc sắp xếp lại theo , sao cho ) $(x_i, y_i)$
$Cov (x, y) = Cov (x^{σ}, y^{σ})$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}^\sigma, \mathbf{y}^\sigma)$ $\sigma\in\mathfrak{S}_n$ $\mathbf{x}^\sigma$ $x_i$ $\sigma$ $\mathbf{x}^\sigma = x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}.$

Tất cả các thuộc tính này rõ ràng giữ cho cả và kiểm tra các dạng biểu thức và . Điều duy nhất có thể cần bất kỳ lời giải thích là độc lập vị trí. Tuy nhiên, sự thay đổi liên tục của các giá trị của không làm thay đổi cả phần dư cũng như sự khác biệt: $\operatorname{Var}$ $C$ $(1)$ $(2)$ $x_i$

x_{i} - \bar{x} = (x_{i} - a) - \bar{x - a}

$x_i - \bar{x} = (x_i - a) - \overline{x - a}$

và

x_{j} - x_{i} = (x_{j} - a) - (x_{i} - a) .

$x_j - x_i = (x_j - a) - (x_i - a).$

Do đó, rõ ràng là phiên bản đầu tiên của và không phụ thuộc vào vị trí. $(1)$ $(2)$

Giải pháp

Ở đây, sau đó, là lý do. Bởi vì là đối xứng và đa tuyến, nó là một hình thức bậc hai hoàn toàn được xác định bởi các hệ số : $C$ $c_{ij} = c_{ji}$

C (x, y) = \sum_{i, j = 1}^{n} c_{i j} x_{i} y_{j} .

$C(\mathbf{x}, \mathbf{y}) = \sum_{i, j=1}^n c_{ij}\, x_i y_j.$

Bởi vì nó là hoán vị-bất biến, cho mọi chỉ số mà và ; đồng thời, cho tất cả các chỉ số và . Do đó, được xác định chỉ bằng hai số, giả sử và . Cuối cùng, một trong những số này xác định hai số còn lại nhờ tính bất biến của vị trí: điều kiện đó có nghĩa là $c_{ij} = c_{i^\prime j^\prime}$ $i,j,i^\prime,j^\prime$ $i\ne j$ $i^\prime \ne j^\prime$ $c_{ii} = c_{i^\prime i^\prime}$ $i$ $i^\prime$ $C$ $c_{11}$ $c_{12}$

0 = C (0, 0) \overset{location-invariance}{=} C (1, 0) \overset{symmetry}{=} C (0, 1) \overset{location-invariance}{=} C (1, 1)

$0 = C(\mathbf{0},\mathbf{0}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{0}) \overset{\text{symmetry}}{=} C(\mathbf{0},\mathbf{1}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{1})$

(trong đó " " và " " đề cập đến -vector không đổi với các giá trị này). Nhưng $\mathbf{0}$ $\mathbf{1}$ $n$

0 = C (1, 1) = \sum_{i, j}^{n} c_{i j} = n c_{11} + (n^{2} - n) c_{12},

$0=C(\mathbf{1},\mathbf{1}) = \sum_{i,j}^n c_{ij} = nc_{11} + (n^2-n)c_{12},$ xác định từng của và về mặt khác.

c_{11}

$c_{11}$

c_{12}

$c_{12}$

Điều này đã chứng minh điểm chính: phải tỷ lệ thuận với , vì mỗi điểm được xác định bởi bất kỳ một trong các hệ số của chúng. Để tìm hằng số tỷ lệ, kiểm tra hai công thức và , tìm kiếm tất cả các lần xuất hiện của : bạn có thể đọc giá trị liên quan của từ chúng. Từ phiên bản thứ hai của , hệ số của rõ ràng là . Từ phiên bản đầu tiên của , với , hệ số của rõ ràng là $C$ $\operatorname{Cov}$ $(1)$ $(2)$ $x_1^2$ $c_{11}$ $(1)$ $x_1^2$ $1/n - (1/n)^2$ $(2)$ $\mathbf{y} = \mathbf{x}$ $x_1^2$ $n-1$ . (Về mặt hình học, mỗi điểm trong biểu đồ phân tán của được ghép với khác, từ đó bình phương tọa độ của nó sẽ xuất hiện lần.) Do đó $(\mathbf{x},\mathbf{x})$ $n-1$ $n-1$

c (n) = \frac{n - 1}{1 / n - (1 / n)^{2}} = n^{2},

$c(n) = \frac{n-1}{1/n - (1/n)^2} = n^2,$

QED . Đây là phép tính duy nhất cần thiết để chứng minh

Cov (x, y) = \frac{1}{n^{2}} C (x, y) = \frac{1}{n^{2}} \sum_{i = 1}^{n - 1} \sum_{j = i + 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) .

$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}C(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}\sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i).$

— whuber
nguồn