Trực giác (hình học hoặc khác) của

18

Xem xét bản sắc cơ bản của phương sai:

\begin{array}{rcl} V a r (X) & = & E [(X - E [X])^{2}] \\ = & . . . \\ = & E [X^{2}] - (E [X])^{2} \end{array}

$\begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray}$

Đó là một thao tác đại số đơn giản của định nghĩa về một khoảnh khắc trung tâm thành những khoảnh khắc không trung tâm.

Nó cho phép thao tác thuận tiện của trong các bối cảnh khác. Nó cũng cho phép tính toán phương sai thông qua một lần truyền dữ liệu thay vì hai lần truyền, trước tiên để tính giá trị trung bình và sau đó để tính phương sai. $Var(X)$

Nhưng nó có nghĩa là gì? Đối với tôi không có trực giác hình học ngay lập tức liên quan đến sự lan truyền về giá trị trung bình lan truyền khoảng 0. Vì là một tập hợp trên một chiều duy nhất, làm thế nào để bạn xem sự lan truyền xung quanh một ý nghĩa như sự khác biệt giữa lan truyền xung quanh gốc tọa độ và bình phương của nghĩa là? $X$

Có bất kỳ giải thích đại số tuyến tính tốt hoặc giải thích vật lý hoặc khác sẽ cung cấp cái nhìn sâu sắc về bản sắc này?

variance descriptive-statistics intuition

— Mitch
nguồn

7

Gợi ý: đây là Định lý Pythagore.

— whuber

1

@Matthew Tôi tự hỏi "

" có nghĩa là gì. Tôi nghi ngờ đó không phải là một kỳ vọng, mà chỉ là tốc ký cho ý nghĩa số học. Mặt khác, các phương trình sẽ không chính xác (và gần như vô nghĩa, vì khi đó chúng sẽ đánh đồng các biến ngẫu nhiên với các số).

E

$E$

— whuber

2

@whuber Vì các sản phẩm bên trong đưa ra ý tưởng về khoảng cách và góc và sản phẩm bên trong không gian vectơ của các biến ngẫu nhiên có giá trị thực được định nghĩa là

(?), tôi tự hỏi liệu một số trực giác hình học có thể được đưa ra thông qua bất đẳng thức tam giác. Tôi không biết làm thế nào để tiến hành, nhưng tôi đã tự hỏi nếu nó có ý nghĩa gì.

E [X Y]

$\mathbb E[XY]$

— Antoni Parellada

1

@Antoni Bất đẳng thức tam giác quá chung chung. Một sản phẩm bên trong là một đối tượng đặc biệt hơn nhiều. May mắn thay, trực giác hình học thích hợp chính xác là hình học Euclide. Hơn nữa, ngay cả trong trường hợp biến ngẫu nhiên

và

, hình học cần thiết có thể được giới hạn trong không gian vectơ thực hai chiều được tạo bởi

và

: nghĩa là, đối với chính mặt phẳng Euclide. Trong trường hợp hiện tại

dường như không phải là RV: nó chỉ là một

-vector. Ở đây, không gian được kéo dài bởi

và

X

$X$

Y

$Y$

X

$X$

Y

$Y$

X

$X$

n

$n$

X

$X$

(1, 1, \dots, 1)

$(1,1,\ldots, 1)$ là mặt phẳng Euclide trong đó tất cả các hình học xảy ra.

— whuber

3

Thiết

trong trả lời tôi liên kết với, và chia mọi điều khoản của

(nếu bạn muốn) sẽ cung cấp cho bạn các giải pháp đại số đầy đủ cho phương sai: không có lý do để sao chép nó trên một lần nữa. Đó là vì

là giá trị trung bình cộng của

, từ đâu

chỉ bằng

lần phương sai như bạn đã định nghĩa ở đây,

là

lần so với trung bình cộng bình phương, và

{\hat{β}}_{1} = 0

$\hat\beta_1=0$

n

$n$

{\hat{β}}_{0}

$\hat\beta_0$

y

$y$

| | y - \hat{y} | |^{2}

$||y-\hat y||^2$

n

$n$

| | \hat{y} | |^{2}

$||\hat y||^2$

n

$n$

là

lần so với trung bình cộng của các giá trị bình phương.

| | y | |^{2}

$||y||^2$

n

$n$

— whuber

21

Mở rộng quan điểm của @ whuber trong các bình luận, nếu và là trực giao, bạn có Định lý Pythagore : $Y$ $Z$

‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2}

$\|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2$

Quan sát rằng là một giá trị sản phẩm nội và $\langle Y, Z \rangle \equiv \mathrm{E}[YZ]$ làchỉ tiêu gây ra bởi sản phẩm bên trong đó. $\|Y\| = \sqrt{\mathrm{E}[Y^2]}$

Đặt là một số biến ngẫu nhiên. Đặt , Đặt . Nếu và trực giao: $X$ $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$ $Y$ $Z$

\begin{aligned} ‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2} \\ \Leftrightarrow & E [E [X]^{2}] + E [(X - E [X])^{2}] = E [X^{2}] \\ \Leftrightarrow & {E [X]}^{2} + V a r [X] = E [X^{2}] \end{aligned}

$\begin{align*} & \|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2 \\ \Leftrightarrow \quad&\mathrm{E}[\mathrm{E}[X]^2] + \mathrm{E}[(X - \mathrm{E}[X])^2] = \mathrm{E}[X^2] \\ \Leftrightarrow \quad & \mathrm{E[X]}^2 + \mathrm{Var}[X]= \mathrm{E}[X^2] \end{align*}$

Và thật dễ dàng để chỉ ra rằng và là trực giao trong sản phẩm bên trong này: $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$

⟨ Y, Z ⟩ = E [E [X] (X - E [X])] = E [X]^{2} - E [X]^{2} = 0

$\langle Y, Z \rangle = \mathrm{E}[\mathrm{E}[X]\left(X - \mathrm{E}[X] \right)] = \mathrm{E}[X]^2 - \mathrm{E}[X]^2 = 0$

Một trong những chân của tam giác là , chân còn lại là , và cạnh huyền là . Và định lý Pythagore có thể được áp dụng vì một biến ngẫu nhiên được hạ thấp là trực giao với ý nghĩa của nó. $X - \mathrm{E}[X]$ $\mathrm{E}[X]$ $X$

Nhận xét kỹ thuật:

trong ví dụ này thực sự sẽ là vector , có nghĩa là, vô hướng lần so với vector không đổi (ví dụ trong rời rạc , trường hợp kết quả hữu hạn). làhình chiếu vectơcủa lên vectơ không đổi . $Y$ $Y = \mathrm{E}[X] \mathbf{1}$ $\mathrm{E}[X]$ $\mathbf{1}$ $\mathbf{1} = [1, 1, 1, \ldots, 1]'$ $Y$ $X$ $\mathbf{1}$

Ví dụ đơn giản

Hãy xem xét trường hợp là biến ngẫu nhiên Bernoulli trong đó . Chúng ta có: $X$ $p = .2$

X = [\begin{matrix} 1 \\ 0 \end{matrix}] P = [\begin{matrix} .2 \\ .8 \end{matrix}] E [X] = \sum_{i} P_{i} X_{i} = .2

$X = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \quad P = \begin{bmatrix} .2 \\ .8 \end{bmatrix} \quad \mathrm{E}[X] = \sum_i P_iX_i = .2$

Y = E [X] 1 = [\begin{matrix} .2 \\ .2 \end{matrix}] Z = X - E [X] = [\begin{matrix} .8 \\ - .2 \end{matrix}]

$Y = \mathrm{E}[X]\mathbf{1} = \begin{bmatrix} .2 \\ .2 \end{bmatrix} \quad Z = X - \mathrm{E}[X] = \begin{bmatrix} .8 \\ -.2 \end{bmatrix}$

Và hình ảnh là:

Độ lớn bình phương của vectơ đỏ là phương sai của , độ lớn bình phương của vectơ màu xanh là và độ lớn bình phương của vectơ màu vàng là . $X$ $\mathrm{E}[X]^2$ $\mathrm{E}[X^2]$

NHỚ dù rằng những cường độ, tính trực giao vv ... không liên quan đến việc chấm sản phẩm thông thường với nhưng bên trong sản phẩm . Độ lớn của vectơ màu vàng không phải là 1, nó là .2. $\sum_i Y_iZ_i$ $\sum_i P_iY_iZ_i$

Vectơ đỏ và vectơ màu xanh vuông góc với sản phẩm bên trong nhưng chúng không vuông góc theo nghĩa giới thiệu, hình học trung học. Hãy nhớ rằng chúng tôi không sử dụng sản phẩm chấm thông thường làm sản phẩm bên trong! $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$ $\sum_i P_i Y_i Z_i$ $\sum_i Y_i Z_i$

— Matthew Gunn
nguồn

Đó là thực sự tốt!

— Antoni Parellada

1

Câu trả lời hay (+1), nhưng nó thiếu một con số, và cũng có thể hơi khó hiểu cho OP vì Z của bạn là X của họ ...

— amip nói rằng Rebstate Monica

@MatthewGunn, câu trả lời tuyệt vời. bạn có thể kiểm tra câu trả lời của tôi dưới đây để biết đại diện trong đó tính trực giao theo nghĩa Euclide.

— YBE

Tôi ghét bị làm phiền, nhưng tôi gặp khó khăn trong việc giữ

,

và hướng logic ('bởi vì' đến những nơi không có ý nghĩa với tôi). Nó cảm thấy như rất nhiều sự thật (được chứng minh rõ ràng) được nêu ngẫu nhiên. Không gian nào là sản phẩm bên trong? Tại sao 1 ?

Z

$Z$

V a r (X)

$Var(X)$

— Mitch

@Mitch Thứ tự logic là: (1) Quan sát rằng một không gian xác suất xác định một không gian vectơ; chúng ta có thể coi các biến ngẫu nhiên là vectơ. (2) Xác định sản phẩm bên trong của các biến ngẫu nhiên

và

là

. Trong một không gian sản phẩm bên trong, vectơ

và

được định nghĩa là trực giao nếu sản phẩm bên trong của chúng bằng không. (3a) Gọi

là một số biến ngẫu nhiên. (3b) Đặt

và

. (4) Quan sát rằng

và

Y

$Y$

Z

$Z$

E [Y Z]

$E[YZ]$

Y

$Y$

Z

$Z$

X

$X$

Y = E [X]

$Y = E[X]$

Z = X - E [X]

$Z = X - E[X]$

Y

$Y$

Z

$Z$ định nghĩa theo cách này là trực giao. (5) Vì

và

là trực giao nên định lý pythagore áp dụng (6) Bằng đại số đơn giản, định lý Pythagore tương đương với định danh.

Y

$Y$

Z

$Z$

— Matthew Gunn

7

Tôi sẽ đi cho một cách tiếp cận hình học thuần túy cho một kịch bản rất cụ thể. Chúng ta hãy xem xét một biến ngẫu nhiên có giá trị riêng biệt lấy các giá trị với xác suất . Chúng tôi sẽ tiếp tục cho rằng biến ngẫu nhiên này có thể được trình bày trong là một vector, $X$ $\{x_1,x_2\}$ $(p_1,p_2)$ $\mathbb{R}^2$ . $\mathbf{X} = \left(x_1\sqrt{p_1},x_2\sqrt{p_2} \right)$

Lưu ý rằng bình phương dài của là bằng với . Như vậy, $\mathbf{X}$ $x_1^2p_1+x_2^2p_2$ $E[X^2]$ . $\left\| \mathbf{X} \right\| = \sqrt{E[X^2]}$

Since $p_1+p_2=1$ , the tip of vector $\mathbf{X}$ actually traces an ellipse. This becomes easier to see if one reparametrizes $p_1$ and $p_2$ as $\cos^2(\theta)$ and $\sin^2(\theta)$ . Hence, we have $\sqrt{p_1} =\cos(\theta)$ and $\sqrt{p_2} = \sin(\theta)$ .

One way of drawing ellipses is via a mechanism called Trammel of Archimedes. As described in wiki: It consists of two shuttles which are confined ("trammelled") to perpendicular channels or rails, and a rod which is attached to the shuttles by pivots at fixed positions along the rod. As the shuttles move back and forth, each along its channel, the end of the rod moves in an elliptical path. This principle is illustrated in the figure below.

Now let us geometrically analyze one instance of this trammel when the vertical shuttle is at $A$ and the horizontal shuttle is at $B$ forming an angle of $\theta$ . Due to construction, $\left|BX\right| = x_2$ and $\left| AB \right| = x_1-x_2$ , $\forall \theta$ (here $x_1\geq x_2$ is assumed wlog).

Let us draw a line from origin, $OC$ , that is perpendicular to the rod. One can show that $\left| OC \right|=(x_1-x_2) \sin(\theta) \cos(\theta)$ . For this specific random variable

\begin{array}{rcl} V a r (X) & = & (x_{1}^{2} p_{1} + x_{2}^{2} p_{2}) - (x_{1} p_{1} + x_{2} p_{2})^{2} \\ = & x_{1}^{2} p_{1} + x_{2}^{2} p_{2} - x_{1}^{2} p_{1}^{2} - x_{2}^{2} p_{2}^{2} - 2 x_{1} x_{2} p_{1} p_{2} \\ = & x_{1}^{2} (p_{1} - p_{1}^{2}) + x_{2}^{2} (p_{2} - p_{2}^{2}) - 2 x_{1} x_{2} p_{1} p_{2} \\ = & p_{1} p_{2} (x_{1}^{2} - 2 x_{1} x_{2} + x_{2}^{2}) \\ = & {[(x_{1} - x_{2}) \sqrt{p_{1}} \sqrt{p_{2}}]}^{2} = {| O C |}^{2} \end{array}

$\begin{eqnarray} Var(X) &=& (x_1^2p_1 +x_2^2p_2) - (x_1p_1+x_2p_2)^2 \\ &=& x_1^2p_1 +x_2^2p_2 - x_1^2p_1^2 - x_2^2p_2^2 - 2x_1x_2p_1p_2 \\ &=& x_1^2(p_1-p_1^2) + x_2^2(p_2-p_2^2) - 2x_1x_2p_1p_2 \\ &=& p_1p_2(x_1^2- 2x_1x_2 + x_2^2) \\ &=& \left[(x_1-x_2)\sqrt{p_1}\sqrt{p_2}\right]^2 = \left|OC \right|^2 \end{eqnarray}$ Therefore, the perpendicular distance

| O C |

$\left|OC \right|$ from the origin to the rod is actually equal to the standard deviation,

σ

$\sigma$ .

If we compute the length of segment from $C$ to $X$ :

\begin{array}{rcl} | C X | & = & x_{2} + (x_{1} - x_{2}) \cos^{2} (θ) \\ = & x_{1} \cos^{2} (θ) + x_{2} \sin^{2} (θ) \\ = & x_{1} p_{1} + x_{2} p_{2} = E [X] \end{array}

$\begin{eqnarray} \left|CX\right| &=& x_2 + (x_1-x_2)\cos^2(\theta) \\ &=& x_1\cos^2(\theta) +x_2\sin^2(\theta) \\ &=& x_1p_1 + x_2p_2 = E[X] \end{eqnarray}$

Applying the Pythagorean Theorem in the triangle OCX, we end up with

E [X^{2}] = V a r (X) + E [X]^{2} .

$\begin{equation} E[X^2] = Var(X) + E[X]^2. \end{equation}$

To summarize, for a trammel that describes all possible discrete valued random variables taking values $\{x_1,x_2\}$ , $\sqrt{E[X^2]}$ is the distance from the origin to the tip of the mechanism and the standard deviation $\sigma$ is the perpendicular distance to the rod.

Note: Notice that when $\theta$ is $0$ or $\pi/2$ , $X$ is completely deterministic. When $\theta$ is $\pi/4$ we end up with maximum variance.

— YBE
nguồn

1

+1 Nice answer. And multiplying vectors by the square of the probabilities is a cool/useful trick to make the usual probabilistic notion of orthogonality look orthogonal!

— Matthew Gunn

Great graphics. The symbols all make sense (the trammel describing an ellipse and then the Pythagorean Thm applies) but somehow I'm not getting intuitively how it gives an idea of how 'magically' it relates the moments (the spread and center.

— Mitch

consider the trammel as a process that defines all the possible

(x_{1}, x_{2})

$(x_1,x_2)$ valued random variables. When the rod is horizontal or vertical you have a deterministic RV. In the middle there is randomness and it turns out that in my proposed geometric framework how random a RV (its std) is exactly measured by the distance of the rod to the origin. There might be a deeper relationship here as elliptic curves connects various objects in math but I am not a mathematician so I cannot really see that connection.

— YBE

3

You can rearrange as follows:

\begin{array}{rcl} V a r (X) & = & E [X^{2}] - (E [X])^{2} \\ E [X^{2}] & = & (E [X])^{2} + V a r (X) \end{array}

$\begin{eqnarray} Var(X) &=& E[X^2] - (E[X])^2\\ E[X^2] &=& (E[X])^2 + Var(X) \end{eqnarray}$

Then, interpret as follows: the expected square of a random variable is equal to the square of its mean plus the expected squared deviation from its mean.

— Lam
nguồn

Oh. Huh. Simple. But the squares still seem kinda uninterpreted. I mean it makes sense (sort of, extremely loosely) without the squares.

— Mitch

3

I am not sold on this.

— Michael R. Chernick

1

If the Pythagorean theorem applies, what is the triangle with what sides and how are the two legs perpendicular?

— Mitch

1

Sorry for not having the skill to elaborate and provide a proper answer, but I think the answer lies in the physical classical mechanics concept of moments, especially the conversion between 0 centred "raw" moments and mean centred central moments. Bear in mind that variance is the second order central moment of a random variable.

— S. Diaxo
nguồn

1

The general intuition is that you can relate these moments using the Pythagorean Theorem (PT) in a suitably defined vector space, by showing that two of the moments are perpendicular and the third is the hypotenuse. The only algebra needed is to show that the two legs are indeed orthogonal.

For the sake of the following I'll assume you meant sample means and variances for computation purposes rather than moments for full distributions. That is:

\begin{array}{rcll} E [X] & = & \frac{1}{n} \sum x_{i}, & m e a n, f i r s t c e n t r a l s a m p l e m o m e n t \\ E [X^{2}] & = & \frac{1}{n} \sum x_{i}^{2}, & s e c o n d s a m p l e m o m e n t (n o n - c e n t r a l) \\ V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2}, & v a r i a n c e, s e c o n d c e n t r a l s a m p l e m o m e n t \end{array}

$\begin{array}{rcll} E[X] &=& \frac{1}{n}\sum x_i,& \rm{mean, first\ central\ sample\ moment}\\ E[X^2] &=& \frac{1}{n}\sum x^2_i,& \rm{second\ sample\ moment\ (non-central)}\\ Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2,& \rm{variance, second\ central\ sample\ moment} \end{array}$

(where all sums are over $n$ items).

For reference, the elementary proof of $Var(X) = E[X^2] - E[X]^2$ is just symbol pushing:

\begin{array}{rcl} V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2} \\ = & \frac{1}{n} \sum (x_{i}^{2} - 2 E [X] x_{i} + E [X]^{2}) \\ = & \frac{1}{n} \sum x_{i}^{2} - \frac{2}{n} E [X] \sum x_{i} + \frac{1}{n} \sum E [X]^{2} \\ = & E [X^{2}] - 2 E [X]^{2} + \frac{1}{n} n E [X]^{2} \\ = & E [X^{2}] - E [X]^{2} \end{array}

$\begin{eqnarray} Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2\\ &=& \frac{1}{n}\sum (x^2_i - 2 E[X]x_i + E[X]^2)\\ &=& \frac{1}{n}\sum x^2_i - \frac{2}{n} E[X] \sum x_i + \frac{1}{n}\sum E[X]^2\\ &=& E[X^2] - 2 E[X]^2 + \frac{1}{n} n E[X]^2\\ &=& E[X^2] - E[X]^2\\ \end{eqnarray}$

There's little meaning here, just elementary manipulation of algebra. One might notice that $E[X]$ is a constant inside the summation, but that is about it.

Now in the vector space/geometrical interpretation/intuition, what we'll show is the slightly rearranged equation that corresponds to PT, that

\begin{array}{rcl} V a r (X) + E [X]^{2} & = & E [X^{2}] \end{array}

$\begin{eqnarray} Var(X) + E[X]^2 &=& E[X^2] \end{eqnarray}$

So consider $X$ , the sample of $n$ items, as a vector in $\mathbb{R}^n$ . And let's create two vectors $E[X]{\bf 1}$ and $X-E[X]{\bf 1}$ .

The vector $E[X]{\bf 1}$ has the mean of the sample as every one of its coordinates.

The vector $X-E[X]{\bf 1}$ is $\langle x_1-E[X], \dots, x_n-E[X]\rangle$ .

These two vectors are perpendicular because the dot product of the two vectors turns out to be 0:

\begin{array}{rcl} E [X] 1 \cdot (X - E [X] 1) & = & \sum E [X] (x_{i} - E [X]) \\ = & \sum (E [X] x_{i} - E [X]^{2}) \\ = & E [X] \sum x_{i} - \sum E [X]^{2} \\ = & n E [X] E [X] - n E [X]^{2} \\ = & 0 \end{array}

$\begin{eqnarray} E[X]{\bf 1}\cdot(X-E[X]{\bf 1}) &=& \sum E[X](x_i-E[X])\\ &=& \sum (E[X]x_i-E[X]^2)\\ &=& E[X]\sum x_i - \sum E[X]^2\\ &=& n E[X]E[X] - n E[X]^2\\ &=& 0\\ \end{eqnarray}$

So the two vectors are perpendicular which means they are the two legs of a right triangle.

Then by PT (which holds in $\mathbb{R}^n$ ), the sum of the squares of the lengths of the two legs equals the square of the hypotenuse.

By the same algebra used in the boring algebraic proof at the top, we showed that we get that $E[X^2]$ is the square of the hypotenuse vector:

$(X-E[X])^2 + E[X]^2 = ... = E[X^2]$ where squaring is the dot product (and it's really $E[x]{\bf 1}$ and $(X-E[X])^2$ is $Var(X)$ .

The interesting part about this interpretation is the conversion from a sample of $n$ items from a univariate distribution to a vector space of $n$ dimensions. This is similar to $n$ bivariate samples being interpreted as really two samples in $n$ variables.

In one sense that is enough, the right triangle from vectors and $E[X^2]$ pops out as the hypotnenuse. We gave an interpretation (vectors) for these values and show they correspond. That's cool enough, but unenlightening either statistically or geometrically. It wouldn't really say why and would be a lot of extra conceptual machinery to, in the end mostly, reproduce the purely algebraic proof we already had at the beginning.

Another interesting part is that the mean and variance, though they intuitively measure center and spread in one dimension, are orthogonal in $n$ dimensions. What does that mean, that they're orthogonal? I don't know! Are there other moments that are orthogonal? Is there a larger system of relations that includes this orthogonality? central moments vs non-central moments? I don't know!

— Mitch
nguồn

I am also interested in an interpretation/intuition behind the superficially similar bias variance tradeoff equation. Does anybody have hints there?

— Mitch

Let

p_{i}

$p_i$ be the probability of state

i

$i$ occurring. If

p_{i} = \frac{1}{n}

$p_i = \frac{1}{n}$ then

\sum_{i} p_{i} X_{i} Y_{i} = \frac{1}{n} \sum_{i} X_{i} Y_{i}

$\sum_i p_i X_i Y_i = \frac{1}{n} \sum_i X_i Y_i$ , that is,

E [X Y]

$E[XY]$ is simply the dot product between

X

$X$ and

Y

$Y$ divided by

n

$n$ . If

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$ , what I used as an inner product (

E [X Y] = \sum_{i} p_{i} X_{i} Y_{i}

$E[XY] = \sum_i p_i X_i Y_i$ ) is basically the dot product divided by

n

$n$ . This whole Pythagorean interpretation still needs to you use the particular inner product

E [X Y]

$E[XY]$ (though it's algebriacly close to the classic dot product for a probability measure

P

$P$ such that

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$ ).

— Matthew Gunn

Btw, the trick @YBE did is to define new vectors

\hat{x}

$\hat{x}$ and

\hat{y}

$\hat{y}$ such that

{\hat{x}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{x}_i = x_i \sqrt{p_i}$ and

{\hat{y}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{y}_i = x_i \sqrt{p_i}$ . Then dot product

\hat{x} \cdot \hat{y} = \sum_{i} x_{i} \sqrt{p_{i}} y_{i} \sqrt{p_{i}} = \sum_{i} p_{i} x_{i} y_{i} = E [x y]

$\hat{x} \cdot \hat{y} = \sum_i x_i \sqrt{p_i} y_i \sqrt{p_i} = \sum_i p_i x_i y_i = E[xy]$ .The dot product of

\hat{x}

$\hat{x}$ and

\hat{y}

$\hat{y}$ corresponds to

E [x y]

$E[xy]$ (which is what I used as an inner product).

— Matthew Gunn