Trực giác đằng sau các phân phối Gaussian có điều kiện là gì?

Giả sử rằng . Sau đó, phân phối có điều kiện của cho rằng là đa biến thường được phân phối với giá trị trung bình:$\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})$$X_1$$X_2 = x_2$

$$E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2)$$

và phương sai:

$${\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}}$$

Nó có ý nghĩa rằng phương sai sẽ giảm vì chúng ta có nhiều thông tin hơn. Nhưng trực giác đằng sau công thức trung bình là gì? Làm thế nào để hiệp phương sai giữa và có nghĩa là có điều kiện?$X_1$$X_2$

Tóm tắc

Mỗi câu trong câu hỏi có thể được hiểu là một thuộc tính của dấu chấm lửng. Các chỉ bất động sản đặc biệt đến sự phân bố bình thường hai biến đó là cần thiết là một thực tế rằng trong một tiêu chuẩn hai biến phân phối bình thường của --cho đó và là không tương quan - phương sai có điều kiện của không phụ thuộc vào . (Điều này đến lượt nó là một hậu quả ngay lập tức của thực tế là thiếu sự tương quan hàm ý sự độc lập cho các biến Bình thường chung.)X Y Y $X,Y$$X$$Y$$Y$$X$

Phân tích sau đây cho thấy chính xác tính chất nào của dấu chấm lửng có liên quan và rút ra tất cả các phương trình của câu hỏi bằng cách sử dụng các ý tưởng cơ bản và số học đơn giản nhất có thể, theo cách dễ dàng ghi nhớ.

---

Phân phối đối xứng tròn

Phân phối của câu hỏi là một thành viên của gia đình phân phối chuẩn bivariate. Tất cả chúng đều có nguồn gốc từ một thành viên cơ bản, chuẩn bivariate Standard , mô tả hai phân phối chuẩn tiêu chuẩn không tương thích (tạo thành hai tọa độ của nó).

Phía bên trái là một biểu đồ cứu trợ của mật độ chuẩn bivariate tiêu chuẩn. Phía bên phải hiển thị tương tự trong giả 3D, với phần phía trước được cắt đi.

Đây là một ví dụ về phân bố đối xứng tròn : mật độ thay đổi theo khoảng cách từ một điểm trung tâm nhưng không theo hướng từ điểm đó. Do đó, các đường viền của đồ thị của nó (ở bên phải) là các vòng tròn.

Tuy nhiên, hầu hết các phân phối chuẩn khác thường không đối xứng tròn: mặt cắt ngang của chúng là các hình elip. Những hình elip này mô hình hình dạng đặc trưng của nhiều đám mây điểm bivariate.

Đây là chân dung của phân phối chuẩn bivariate với ma trận hiệp phương sai Đó là một mô hình cho dữ liệu với hệ số tương quan .-2/$\Sigma = \left(\begin{array}{cc} 1 & -\frac{2}{3} \\ -\frac{2}{3} & 1 \\\end{array}\right).$$-2/3$

---

Cách tạo Ellipses

Một hình elip - theo định nghĩa lâu đời nhất của nó - là một phần hình nón, là một hình tròn bị biến dạng bởi hình chiếu lên một mặt phẳng khác. Bằng cách xem xét bản chất của phép chiếu, giống như các nghệ sĩ thị giác làm, chúng ta có thể phân tách nó thành một chuỗi các biến dạng dễ hiểu và dễ tính toán.

Đầu tiên, kéo dài (hoặc, nếu cần, bóp) vòng tròn dọc theo cái sẽ trở thành trục dài của hình elip cho đến khi nó có độ dài chính xác:

Tiếp theo, ép (hoặc kéo dài) hình elip này dọc theo trục nhỏ của nó:

Thứ ba, xoay nó quanh tâm của nó thành hướng cuối cùng của nó:

Cuối cùng, chuyển nó đến vị trí mong muốn:

Đây là tất cả các biến đổi affine. (Trong thực tế, ba biến đổi đầu tiên là các phép biến đổi tuyến tính ; sự dịch chuyển cuối cùng làm cho nó có liên quan.) Bởi vì một thành phần của các phép biến đổi affine vẫn (theo định nghĩa) vẫn còn affine, biến dạng ròng từ vòng tròn đến hình elip cuối cùng là một phép biến đổi affine. Nhưng nó có thể hơi phức tạp:

Lưu ý những gì đã xảy ra với các trục (tự nhiên) của hình elip: sau khi chúng được tạo ra bởi sự dịch chuyển và ép, chúng (tất nhiên) đã xoay và dịch chuyển cùng với chính trục đó. Chúng ta dễ dàng nhìn thấy các trục này ngay cả khi chúng không được vẽ, bởi vì chúng là các trục đối xứng của chính hình elip.

Chúng tôi muốn áp dụng sự hiểu biết của chúng tôi về các hình elip để hiểu các phân phối đối xứng hình tròn bị biến dạng, giống như gia đình Bình thường bivariate. Thật không may, có một vấn đề với những biến dạng này : chúng không tôn trọng sự phân biệt giữa trục và . Vòng quay ở bước 3 hủy hoại mà. Nhìn vào các lưới tọa độ mờ trong nền: chúng hiển thị những gì xảy ra với lưới (của lướiy 1 / 2 x$x$$y$$1/2$theo cả hai hướng) khi nó bị biến dạng. Trong hình ảnh đầu tiên, khoảng cách giữa các đường thẳng đứng ban đầu (hiển thị rắn) được nhân đôi. Trong hình ảnh thứ hai, khoảng cách giữa các đường ngang ban đầu (hiển thị nét đứt) được thu hẹp bằng một phần ba. Trong hình ảnh thứ ba, các khoảng cách lưới không được thay đổi, nhưng tất cả các dòng được xoay. Họ dịch chuyển lên và sang phải trong hình ảnh thứ tư. Hình ảnh cuối cùng, hiển thị kết quả thực, hiển thị lưới kéo dài, vắt, xoay, dịch chuyển này. Các đường liền nét ban đầu của tọa độ không đổi không còn là chiều dọc.$x$

Ý tưởng then chốt --one có thể mạo hiểm để nói nó là các điểm then chốt của hồi quy - là có một cách thức mà các vòng tròn có thể bị bóp méo thành một hình elip mà không xoay đường dọc . Bởi vì vòng quay là thủ phạm, chúng ta hãy cắt theo đuổi và chỉ ra cách tạo ra một hình elip xoay mà không thực sự xuất hiện để xoay bất cứ thứ gì !

Đây là một biến đổi lệch. Nó thực sự làm hai việc cùng một lúc:

• Nó ép theo hướng (bằng một lượng , nói). Điều này để lại -axis một mình.λ $y$$\lambda$$x$

• Nó nâng bất kỳ điểm kết quả bằng một tỷ lệ trực tiếp với . Viết hằng số tỷ lệ đó là , điều này sẽ gửi đến .x ρ ( x , y ) ( x , y + ρ x $(x,y)$$x$$\rho$$(x,y)$$(x, y+\rho x)$

Bước thứ hai nâng -axis vào dòng , được hiển thị trong hình trước. Như thể hiện trong hình đó, tôi muốn làm việc với một phép biến đổi nghiêng đặc biệt, một phép xoay hình elip 45 độ một cách hiệu quả và ghi nó vào hình vuông đơn vị. Trục chính của hình elip này là đường . Rõ ràng là rõ ràng rằng . (Giá trị âm của nghiêng hình elip xuống bên phải thay vì lên bên phải.) Đây là giải thích hình học của "hồi quy trung bình".y = ρ x y = x | ρ | ≤ 1 $x$$y=\rho x$$y=x$$|\rho| \le 1$$\rho$

Chọn một góc 45 độ làm cho hình elip đối xứng quanh đường chéo của hình vuông (một phần của đường ). Để tìm ra các tham số của phép biến đổi nghiêng này, hãy quan sát:$y=x$

• Việc nâng bằng di chuyển điểm đến .( 1 , 0 ) ( 1 , ρ $\rho x$$(1,0)$$(1,\rho)$

• Đối xứng xung quanh đường chéo chính sau đó ngụ ý điểm cũng nằm trên hình elip.$(\rho, 1)$

Điểm này bắt đầu từ đâu?

• Điểm ban đầu (phía trên) trên vòng tròn đơn vị (có phương trình ngầm định ) với tọa độ là .$x^2+y^2=1$$x$$\rho$$(\rho, \sqrt{1-\rho^2})$

• Bất kỳ điểm nào của biểu mẫu trước tiên được ép thành và sau đó được nâng lên .$(\rho, y)$$(\rho, \lambda y)$$(\rho, \lambda y + \rho\times\rho)$

Giải pháp duy nhất cho phương trình là . Đó là số lượng mà tất cả các khoảng cách theo hướng dọc phải được nén để tạo hình elip ở góc 45 độ khi nó bị lệch theo chiều dọc của .$(\rho, \lambda \sqrt{1-\rho^2} + \rho^2) = (\rho, 1)$$\lambda = \sqrt{1-\rho^2}$$\rho$

Để củng cố những ý tưởng này, đây là một hoạt cảnh cho thấy cách phân phối đối xứng tròn bị biến dạng thành các phân phối với các đường viền hình elip bằng các phép biến đổi nghiêng này. Các bảng hiển thị các giá trị của bằng và từ trái sang phải.$\rho$$0,$ $3/10,$ $6/10,$$9/10,$

Hình ngoài cùng bên trái cho thấy một tập hợp các điểm bắt đầu xung quanh một trong các đường viền tròn cũng như một phần của trục ngang. Các số liệu tiếp theo sử dụng các mũi tên để chỉ ra cách các điểm đó được di chuyển. Hình ảnh của trục ngang xuất hiện dưới dạng một đoạn đường xiên (có độ dốc ). (Các màu đại diện cho các lượng mật độ khác nhau trong các hình khác nhau.)$\rho$

---

Ứng dụng

Chúng tôi đã sẵn sàng để làm hồi quy. Một phương pháp chuẩn, thanh lịch (nhưng đơn giản) để thực hiện hồi quy trước tiên là biểu thị các biến ban đầu trong các đơn vị đo lường mới: chúng tôi tập trung chúng vào phương tiện của chúng và sử dụng độ lệch chuẩn của chúng làm đơn vị. Điều này di chuyển trung tâm của phân phối đến gốc và làm cho tất cả các đường viền hình elip của nó nghiêng 45 độ (lên hoặc xuống).

Khi các dữ liệu được tiêu chuẩn hóa này tạo thành một đám mây điểm tròn, hồi quy rất dễ dàng: phương tiện có điều kiện trên đều bằng , tạo thành một dòng đi qua gốc. (Đối xứng tròn ngụ ý đối xứng với trục , cho thấy rằng tất cả các phân phối có điều kiện là đối xứng, vì chúng có phương tiện. , tất cả các giá trị (được chuẩn hóa) được nhân với cho một số giá trị của ; tiếp theo, tất cả các giá trị với tọa độ được xiên theo chiều dọc bởi$x$$0$$x$$0$$y$$\sqrt{1-\rho^2}$$\rho$$x$$\rho x$. Những biến dạng này đã làm gì đối với đường hồi quy (vẽ đồ thị có nghĩa là có điều kiện chống lại )?$x$

• Việc thu hẹp tọa độ nhân tất cả các độ lệch dọc bằng một hằng số. Điều này chỉ thay đổi tỷ lệ dọc và để lại tất cả các phương tiện có điều kiện không thay đổi ở .$y$$0$

• Phép biến đổi xiên dọc đã thêm vào tất cả các giá trị có điều kiện tại , do đó thêm vào trung bình điều kiện của chúng: đường cong là đường hồi quy, hóa ra là một đường.$\rho x$$x$$\rho x$$y=\rho x$

Tương tự, chúng tôi có thể xác minh rằng vì -axis là bình phương nhỏ nhất phù hợp với phân bố đối xứng tròn, nên bình phương nhỏ nhất phù hợp với phân phối đã chuyển đổi cũng là đường : đường bình phương nhỏ nhất trùng với đường hồi quy .$x$$y=\rho x$

Những kết quả đẹp này là kết quả của thực tế là phép biến đổi xiên dọc không thay đổi bất kỳ tọa độ nào .$x$

Chúng ta có thể dễ dàng nói nhiều hơn:

• Viên đạn đầu tiên (về thu hẹp) cho thấy rằng khi có bất kỳ phân phối đối xứng tròn nào , phương sai điều kiện của được nhân với .$(X,Y)$$Y|X$$\left(\sqrt{1-\rho^2}\right)^2 = 1 - \rho^2$

• Tổng quát hơn: phép biến đổi xiên dọc sẽ hủy bỏ mỗi phân phối có điều kiện theo và sau đó gần đây nó bằng .$\sqrt{1-\rho^2}$$\rho x$

Đối với phân phối chuẩn bivariate chuẩn, phương sai điều kiện là một hằng số (bằng ), không phụ thuộc vào . Chúng tôi ngay lập tức kết luận rằng sau khi áp dụng phép biến đổi nghiêng này, phương sai có điều kiện của độ lệch dọc vẫn là một hằng số và bằng . Bởi vì các bản phân phối có điều kiện của Bình thường bivariate là Bình thường, bây giờ chúng tôi biết phương tiện và phương sai của chúng, chúng tôi có thông tin đầy đủ về chúng.$1$$x$$1-\rho^2$

Cuối cùng, chúng ta cần liên hệ với ma trận hiệp phương sai ban đầu . $\rho$$\Sigma$ Đối với điều này, hãy nhớ rằng định nghĩa (đẹp nhất) của hệ số tương quan giữa hai biến và được tiêu chuẩn hóa là kỳ vọng của sản phẩm của chúng . (Tương quan của và được khai báo đơn giản là tương quan của các phiên bản được tiêu chuẩn hóa của chúng.) Do đó, khi tuân theo bất kỳ phân phối đối xứng tròn nào và chúng tôi áp dụng phép biến đổi nghiêng cho các biến, chúng tôi có thể viết$X$$Y$$XY$$X$$Y$$(X,Y)$

$$\varepsilon = Y - \rho X$$

đối với độ lệch dọc từ đường hồi quy và lưu ý rằng phải có phân phối đối xứng quanh . Tại sao? Bởi vì trước khi việc chuyển đổi nghiêng đã được áp dụng, đã có một phân phối đối xứng xung quanh và sau đó chúng tôi (a) vắt nó và (b) dỡ bỏ nó bằng . Cái trước không thay đổi tính đối xứng của nó trong khi cái sau lấy lại nó tại , QED. Hình tiếp theo minh họa điều này.$\varepsilon$$0$$Y$$0$$\rho X$$\rho X$

Các đường màu đen vạch ra độ cao tỷ lệ thuận với mật độ có điều kiện ở các giá trị cách đều đặn khác nhau của . Đường trắng dày là đường hồi quy, đi qua tâm đối xứng của mỗi đường cong có điều kiện. Biểu đồ này hiển thị trường hợp trong tọa độ chuẩn.$x$$\rho = -1/2$

hậu quả là

$$\mathbb{E}(XY) = \mathbb{E}\left(X(\rho X + \varepsilon)\right) = \rho\mathbb{E}(X^2) + \mathbb{E}(X\varepsilon) = \rho(1) + 0=\rho.$$

Sự bình đẳng cuối cùng là do hai sự thật: (1) vì đã được chuẩn hóa, kỳ vọng của hình vuông của nó là phương sai chuẩn hóa của nó, bằng khi xây dựng; và (2) kỳ vọng của bằng với kỳ vọng của nhờ vào tính đối xứng của . Bởi vì cái sau là âm của cái trước, cả hai phải bằng : thuật ngữ này bỏ đi.$X$$1$$X\varepsilon$$X(-\varepsilon)$$\varepsilon$$0$

Chúng tôi đã xác định được các thông số của sự biến đổi nghiêng, , như là hệ số tương quan của và .$\rho$$X$$Y$

---

Kết luận

Bằng cách quan sát rằng bất kỳ hình elip nào cũng có thể được tạo ra bằng cách làm biến dạng một vòng tròn với phép biến đổi xiên dọc giữ nguyên tọa độ , chúng ta đã hiểu được các đường viền của bất kỳ phân phối biến ngẫu nhiên nào có được từ một đối xứng tròn một bằng các phương tiện kéo dài, ép, xoay và dịch chuyển (nghĩa là, bất kỳ chuyển đổi affine nào). Bằng cách biểu thị lại kết quả theo đơn vị ban đầu của và - số tiền để thêm lại phương tiện của họ, và , sau khi nhân với độ lệch chuẩn của họ và - chúng tôi thấy rằng:$x$$(X,Y)$$x$$y$$\mu_x$$\mu_y$$\sigma_x$$\sigma_y$

• Cả đường bình phương nhỏ nhất và đường hồi quy đều đi qua gốc của các biến được tiêu chuẩn hóa, tương ứng với "điểm trung bình" trong tọa độ ban đầu.$(\mu_x,\mu_y)$

• Đường cong hồi quy, được xác định là quỹ tích của các phương tiện có điều kiện, trùng với đường bình phương nhỏ nhất.$\{(x, \rho x)\},$

• Độ dốc của đường hồi quy trong tọa độ chuẩn là hệ số tương quan ; do đó, trong các đơn vị ban đầu, nó bằng với .$\rho$$\sigma_y \rho / \sigma_x$

Do đó phương trình của đường hồi quy là

$$y = \frac{\sigma_y\rho}{\sigma_x}\left(x - \mu_x\right) + \mu_y.$$

• Phương sai điều kiện của là với phương sai điều kiện của trong đó có phân phối chuẩn (đối xứng tròn với phương sai đơn vị ở cả hai tọa độ), và .$Y|X$$\sigma_y^2(1-\rho^2)$$Y'|X'$$(X',Y')$$X'=(X-\mu_X)/\sigma_x$$Y'=(Y-\mu_Y)/\sigma_Y$

Không có kết quả nào trong số này là một thuộc tính cụ thể của các bản phân phối chuẩn bivariate! Đối với gia đình Bình thường bivariate, phương sai có điều kiện của là hằng số (và bằng ): thực tế này làm cho gia đình đó đặc biệt đơn giản để làm việc. Đặc biệt:$Y'|X'$$1$

• Bởi vì trong ma trận hiệp phương sai các hệ số là và phương sai có điều kiện của cho phân phối chuẩn bivariate là$\Sigma$$\sigma_{11}=\sigma_x^2,$ $\sigma_{12}=\sigma_{21}=\rho\sigma_x\sigma_y,$$\sigma_{22}=\sigma_y^2,$$Y|X$

$$\sigma_y^2(1-\rho^2)=\sigma_{22}\left(1-\left(\frac{\sigma_{12}}{\sqrt{\sigma_{11}\sigma_{22}}}\right)^2\right)=\sigma_{22} - \frac{\sigma_{12}^2}{\sigma_{11}}.$$

---

Ghi chú kỹ thuật

Ý tưởng chính có thể được nêu trong các điều khoản của ma trận mô tả các phép biến đổi tuyến tính. Nó đi xuống để tìm một "căn bậc hai" phù hợp của ma trận tương quan mà là một hàm riêng. Do vậy:$y$

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{A}\mathbb{A}'$$

Ở đâu

$$\mathbb{A} = \left(\begin{array}{cc} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\\end{array}\right).$$

Một căn bậc hai được biết đến nhiều hơn là một căn nguyên được mô tả ban đầu (liên quan đến một phép quay thay vì một phép biến đổi nghiêng); nó là cái được tạo ra bởi sự phân rã giá trị số ít và nó đóng một vai trò nổi bật trong phân tích thành phần chính (PCA):

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{B}\mathbb{B}';$$

$$\mathbb{B} = \mathbb{Q} \left( \begin{array}{cc} \sqrt{\rho +1} & 0 \\ 0 & \sqrt{1-\rho } \\ \end{array} \right)\mathbb{Q}'$$

trong đó là ma trận xoay cho xoay độ.$\mathbb{Q} = \left( \begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \end{array} \right)$$45$

Do đó, sự khác biệt giữa PCA và hồi quy bắt nguồn từ sự khác biệt giữa hai căn bậc hai đặc biệt của ma trận tương quan.

Đây thực chất là hồi quy tuyến tính (OLS). Trong trường hợp đó, bạn đang tìm phân phối có điều kiện của với . (Nói đúng ra, hồi quy OLS không đưa ra các giả định về phân phối , trong khi ví dụ của bạn là đa biến thông thường, nhưng chúng ta sẽ bỏ qua những điều này.) Bây giờ, nếu hiệp phương sai giữa và không phải là , thì giá trị trung bình của phân phối có điều kiện của phải thay đổi khi bạn thay đổi giá trị của nơi bạn đang 'cắt qua' phân phối đa biến. Hãy xem xét hình dưới đây: $Y$$X=x_i$$X$$X_1$$X_2$$0$$X_2$$x_1$

Ở đây chúng ta thấy rằng các phân phối biên đều bình thường, với mối tương quan dương giữa và . Nếu bạn xem phân phối có điều kiện của tại bất kỳ điểm nào trên , thì phân phối là một thông thường đơn biến. Tuy nhiên, do mối tương quan dương (nghĩa là hiệp phương sai khác không), giá trị trung bình của các phân phối có điều kiện sẽ dịch chuyển khi bạn di chuyển từ trái sang phải. Ví dụ: hình vẽ cho thấy . $X_1$$X_2$$X_2$$X_1$$\mu_{X_2|X_1=25}\ne\mu_{X_2|X_1=45}$

( Đối với bất kỳ độc giả nào trong tương lai có thể bị nhầm lẫn bởi các ký hiệu, tôi muốn nói rằng, ví dụ: là một yếu tố của ma trận hiệp phương sai . Vì vậy, đó là phương sai của , mặc dù mọi người sẽ điển hình nghĩ về một phương sai là và là độ lệch chuẩn.$\sigma_{22}$$\Sigma$$X_2$$\sigma^2$$\sigma$ )

Phương trình của bạn cho giá trị trung bình được kết nối trực tiếp với phương trình ước tính độ dốc trong hồi quy OLS (và hãy nhớ rằng trong hồi quy là giá trị trung bình có điều kiện): Trong phương trình của bạn, là hiệp phương sai trên phương sai; đó là độ dốc , giống như trên. Do đó, phương trình của bạn cho giá trị trung bình chỉ là trượt trung bình có điều kiện của bạn, , tăng hoặc giảm so với trung bình vô điều kiện của nó, , dựa trên khoảng cách từ là độ dốc của mối quan hệ giữa và . $\hat y_i$

$$\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}$$ $^{\sigma_{12}}/_{\sigma_{22}}$$\mu_{X_2|X_1=x_i}$$\mu_{X_2}$$\mu_{X_2}$ $x_{2i}$$X_1$$X_2$

Câu trả lời của Gung là tốt (+1). Có một cách khác để nhìn vào nó, mặc dù. Hãy tưởng tượng rằng hiệp phương sai giữa và là dương. Nó có nghĩa gì với ? Chà, điều đó có nghĩa là khi cao hơn mức trung bình của , có xu hướng cao hơn mức trung bình của và ngược lại .$X_1$$X_2$$\sigma_{1,2}>0$$X_2$$X_2$$X_1$$X_1$

Bây giờ, giả sử tôi đã nói với bạn rằng . Đó là, giả sử tôi đã nói với bạn rằng vượt quá ý nghĩa của nó. Bạn sẽ không kết luận rằng có khả năng cao hơn mức trung bình của nó (vì bạn biết và bạn biết hiệp phương sai nghĩa là gì)? Vì vậy, bây giờ, nếu bạn lấy trung bình của , biết rằng cao hơn trung bình của , bạn sẽ nhận được một số trên trung bình của . Đó là những gì công thức nói: Nếu hiệp phương sai dương và$X_2=\mathit{x}_2>\mu_2$$X_2$$X_1$$\sigma_{1,2}>0$$X_1$$X_2$$X_2$$X_1$

$$\begin{equation} E\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $X_2$là trên mức trung bình của nó, sau đó . $E\{X_1 | X_2=\mathit{x}_2\} > \mu_1$

Kỳ vọng có điều kiện có dạng trên cho phân phối bình thường, không phải cho tất cả các phân phối. Điều này có vẻ hơi lạ khi cho rằng lý do trong đoạn văn trên có vẻ khá hấp dẫn. Tuy nhiên, (hầu như) bất kể phân phối của và công thức này là đúng: Trong đó có nghĩa là bộ dự báo tuyến tính tốt nhất. Phân phối bình thường là đặc biệt trong đó kỳ vọng có điều kiện và dự đoán tuyến tính tốt nhất là điều tương tự.$X_1$$X_2$

$$\begin{equation} BLP\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $BLP$