Hồi quy tuyến tính, kỳ vọng có điều kiện và giá trị mong đợi

Được rồi vì vậy chỉ cần một chút mơ hồ về một vài điều, bất kỳ trợ giúp sẽ được đánh giá cao. Theo hiểu biết của tôi, mô hình hồi quy tuyến tính được dự đoán thông qua một kỳ vọng có điều kiện

E (Y | X) = b + X b + e

$E(Y|X)=b+Xb+e$

Chúng ta có cho rằng cả và là các biến ngẫu nhiên với một số phân phối xác suất không xác định? Theo hiểu biết của tôi, chỉ có phần dư và hệ số beta ước tính là các biến ngẫu nhiên. nếu vậy, như một ví dụ, nếu béo phì và tuổi, nếu chúng ta lấy kỳ vọng có điều kiện , thì giá trị mong đợi của béo phì là bao nhiêu nếu cá nhân là trên mẫu, chúng ta sẽ chỉ lấy trung bình (trung bình số học) của y cho những quan sát trong đó ? Tuy nhiên, giá trị kỳ vọng không đòi hỏi rằng chúng ta phải nhân số này với xác suất xảy ra? Nhưng làm thế nào theo nghĩa đó để chúng ta tìm thấy xác suất của $X$ $Y$ $Y =$ $X =$ $E(Y|X=35)$ $35$ $X=35$ $X$ -giá trị biến xảy ra nếu nó đại diện cho một cái gì đó như tuổi?
Nếu đại diện cho một cái gì đó giống như tỷ giá hối đoái, điều này sẽ được phân loại là ngẫu nhiên? Làm thế nào trên trái đất bạn sẽ tìm thấy giá trị mong đợi của điều này mà không biết xác suất mặc dù? hoặc giá trị mong đợi chỉ bằng giá trị trung bình trong giới hạn. $X$
Nếu chúng ta không cho rằng các biến phụ thuộc là các biến ngẫu nhiên, vì chúng ta không phản đối xác suất, chúng ta giả sử chúng là gì? chỉ là giá trị cố định hay cái gì đó? Nhưng nếu đây là trường hợp, làm thế nào chúng ta có thể bắt đầu với một biến không ngẫu nhiên để bắt đầu? chúng ta giả sử gì về phân phối biến độc lập?

Xin lỗi nếu bất cứ điều gì không có ý nghĩa hoặc rõ ràng với bất cứ ai.

regression

— William Carulli
nguồn

Hệ số hồi quy là một hằng số chưa biết, không phải là một biến ngẫu nhiên (ít nhất là trong một thế giới thường xuyên).

β

$\beta$

— Richard Hardy

ý bạn là gì bởi những kỳ vọng có điều kiện? E (Y | X) có nghĩa đơn giản là Y đã cho X, nghĩa là giá trị mong đợi của Y tại X. Nói, y = 5 + x, khi đó bạn E (Y | X = 5) là 10. Tôi không nhận được điểm của bạn với kỳ vọng có điều kiện

— Zamir Akimbekov

@RichardHardy, theo cách hiểu của tôi, vì B là giá trị trung bình của phân phối mẫu của beta, nên đó là một biến ngẫu nhiên được đặc trưng bởi phân phối bình thường. bạn đang đề cập đến mô hình dân số?

— William Carulli

Vâng, mô hình dân số.

— Richard Hardy

@WilliamCarulli Richard đang đề cập đến sự khác biệt giữa một tham số dân số và một tham số ước tính. Tham số ước tính thực sự là một biến ngẫu nhiên, nhưng tham số dân số thực (chưa biết) là một giá trị cố định.

— Matthew Drury

Câu trả lời:

Trong mô hình xác suất cơ bản hồi quy tuyến tính, X và Y là các biến ngẫu nhiên.

nếu vậy, như một ví dụ, nếu Y = béo phì và X = tuổi, nếu chúng ta lấy kỳ vọng có điều kiện E (Y | X = 35), thì giá trị mong đợi của béo phì là bao nhiêu nếu cá nhân là 35 trên mẫu, chúng ta sẽ chỉ lấy trung bình (trung bình số học) của y cho những quan sát trong đó X = 35?

Đúng rồi. Nói chung, bạn không thể mong đợi rằng bạn sẽ có đủ dữ liệu ở mỗi giá trị cụ thể của X hoặc có thể không thực hiện được nếu X có thể lấy một phạm vi giá trị liên tục. Nhưng về mặt khái niệm, điều này là chính xác.

Tuy nhiên, giá trị kỳ vọng không đòi hỏi rằng chúng ta phải nhân số này với xác suất xảy ra?

Đây là sự khác biệt giữa kỳ vọng vô điều kiện và kỳ vọng có điều kiện . Mối quan hệ giữa họ là $E[Y]$ $E[Y \mid X = x]$

E [Y] = \sum_{x} E [Y ∣ X = x] P r [X = x]

$E[Y] = \sum_x E[Y \mid X = x] Pr[X = x]$

đó là quy luật của tổng kỳ vọng.

Nhưng làm thế nào theo nghĩa đó để chúng ta tìm thấy xác suất của biến giá trị X xảy ra nếu nó đại diện cho một cái gì đó như tuổi?

Nói chung, bạn không trong hồi quy tuyến tính. Vì chúng tôi đang cố gắng xác định , chúng tôi không cần biết . $E[Y \mid X]$ $Pr[X = x]$

Nếu chúng ta không cho rằng các biến độc lập tự là biến ngẫu nhiên, vì chúng ta không phản đối xác suất, chúng ta giả sử chúng là gì? chỉ là giá trị cố định hay cái gì đó?

Chúng ta giả sử rằng Y là một biến ngẫu nhiên. Một cách nghĩ về hồi quy tuyến tính là mô hình xác suất cho $Y$

Y \sim X β + N (0, σ)

$Y \sim X \beta + N(0, \sigma)$

Điều đó nói rằng, một khi bạn biết giá trị của X, biến thể ngẫu nhiên trong Y được giới hạn trong giá trị . $N(0, \sigma)$

— Matthew Drury
nguồn

Cảm ơn bạn rất nhiều vì bình luận của bạn, đã giúp tôi rất nhiều. chúc mừng

— William Carulli

@WilliamCarulli Chào mừng bạn! Hãy hỏi bất kỳ câu hỏi tiếp theo nào và tôi sẽ cố hết sức để trả lời. Nếu tôi thực sự làm sáng tỏ tất cả các vấn đề của bạn, bạn cũng có thể chấp nhận nó.

— Matthew Drury

Đây là một bài viết tốt. Tuy nhiên, tôi nghĩ rằng bất kỳ câu trả lời nào không thừa nhận rằng (a) có thể được sửa hoặc (b) có thể là một biến ngẫu nhiên (với các giả định độc lập cụ thể) không thực sự giải quyết các mối quan tâm được nêu trong câu hỏi.

X

$X$

— whuber

@MatthewDrury, Chỉ cần làm rõ, nếu biến phụ thuộc của tôi là tỷ giá hối đoái và phụ thuộc của tôi là lãi suất trong nước, thì

— William Carulli

@ MatthewDrury @ MatthewDrury, Chỉ cần làm rõ, nếu biến phụ thuộc của tôi là tỷ giá hối đoái và phụ thuộc của tôi là lãi suất trong nước, thì E (E (tỷ giá hối đoái | lãi suất)) = E (tỷ giá hối đoái) = trung bình mẫu của tỷ giá hối đoái? Tôi đoán điều khiến tôi bối rối là tôi luôn cho rằng các kỳ vọng được tính dựa trên xác suất, tôi không thấy lý do biểu thị hồi quy tuyến tính là một kỳ vọng có điều kiện khi giải nó thông qua đại số ma trận có vẻ khác nhiều so với kỳ vọng chung.

— William Carulli

Sẽ có rất nhiều câu trả lời cho câu hỏi này, nhưng tôi vẫn muốn thêm một câu kể từ khi bạn đưa ra một số điểm thú vị. Để đơn giản tôi chỉ xem xét mô hình tuyến tính đơn giản.

   It is my understanding that the linear regression model
   is predicted via a conditional expectation E(Y|X)=b+Xb+e

E (Y | X) = β_{0} + β_{1} X,

$\mathbb E(Y\,|\,X) = \beta_0 +\beta_1X,$

Y

$Y$

X

$X$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

Y = β_{0} + β_{1} X + ϵ,

$Y = \beta_0+\beta_1X+\epsilon,$

ϵ

$\epsilon$

E (ϵ) = 0

$\mathbb E(\epsilon) = 0$

Do we assume that both X and Y are Random variables with some unknown 
probability distribution? ... If we don't assume the independent variables 
are themselves random

$X$ $Y$

$\{X_1,...,X_n\}$ $X$

$\beta_0$ $\beta_1$ $X$ $X$

if we take the conditional expectation E(Y|X=35) ... would we just take 
the average(arithmetic mean) of y for those observations where X=35?

$\hat\varphi(x)$ $\mathbb E(Y|X = x)$ $\hat \beta_0$ $\hat \beta_1$

\hat{φ} (x) = {\hat{β}}_{0} + {\hat{β}}_{1} x

$\hat\varphi(x) = \hat\beta_0+\hat\beta_1x$
Công cụ ước lượng bình phương trung bình nhỏ nhất có điều kiện có biểu thức bằng với biểu thức bạn mô tả nếu mô hình của bạn coi các trọng số khác nhau là các mức của một yếu tố. Những mô hình đó còn được gọi là ANOVA một chiều, là trường hợp cụ thể của mô hình tuyến tính (không đơn giản).

— Mur1lo
nguồn

X

$X$

{\hat{β}}_{0}

$\hat\beta_0$

{\hat{β}}_{1}

$\hat\beta_1$

X

$X$

@whuber "Đầu tiên, mô hình được gọi là" tuyến tính "vì nó là tuyến tính trong các tham số" Tôi đã giải thích ý nghĩa phương trình, không phải ý nghĩa của "tuyến tính" trong "mô hình tuyến tính". "các ước tính β̂ 0 và β̂ 1 là các biến ngẫu nhiên bất kể giả định về X" là gì, nhưng sự phân phối của các biến ngẫu nhiên đó thay đổi tùy thuộc vào cách bạn đối xử với X.

— Mur1lo

@whuber Tôi hoàn toàn đồng ý với điểm cuối cùng của bạn. Tôi sẽ chỉnh sửa câu trả lời của mình để nó rõ ràng hơn trong tất cả các vấn đề bạn đã chỉ ra. Cảm ơn vì bạn đã phản hồi.

— Mur1lo