Khả năng hồi quy tuyến tính

Tôi đang cố gắng hiểu làm thế nào mọi người rút ra Khả năng cho hồi quy tuyến tính đơn giản. Hãy nói rằng chúng ta chỉ có một tính năng x và kết quả y. Tôi không nghi ngờ biểu hiện với mật độ bình thường và tôi cũng không nghi ngờ rằng người ta có thể biến sản phẩm thành các yếu tố đơn giản hơn do tính độc lập. Tôi nghi ngờ làm thế nào mọi người rút ra biểu hiện này. Dường như có cả một sở thú (giả định một phần) về đầu vào và hầu như ở mọi nơi, bước quan trọng (namyle làm thế nào để lấy được sản phẩm có mật độ bình thường) trong đó người ta thực sự phải sử dụng các giả định chính xác bị bỏ qua :-(

Những gì tôi nghĩ là tự nhiên để giả định là như sau: Chúng tôi được cung cấp một bộ huấn luyện cố định và cho rằng$(x_i, y_i)_{i=1,2,...,n}$

1. các cặp trong tập huấn luyện cố định có độ dài đến từ các biến ngẫu nhiên được phân phối iid$(x_i, y_i)$$n$$(X_i, Y_i)$
2. $Y_i = \beta_0 X_i + \epsilon_i$
3. các là các biến một chiều iid ngẫu nhiên mỗi phân phối như với được biết đến (để đơn giản hóa) (có lẽ ta nên thừa nhận điều gì đó về mật độ có điều kiện ở đây? Mọi người dường như không chắc chắn những gì thực sự giả định ở đây ...)$\epsilon_i$$\mathcal{N}(0, \sigma)$$\sigma$$f_{\epsilon_i|X_i}$

Đặt và đặt . Bây giờ mục tiêu là xác định mật độ có điều kiện . Rõ ràng, $Y = (Y_1, ..., Y_n)$$X = (X_1, ..., X_n)$$f_{Y|X} = \frac{f_{(Y,X)}}{f_X}$

$$f_{Y|X} = \prod_{i=1}^n f_{Y_i|X_i}$$

Câu hỏi:

Làm thế nào để tiến hành từ đây?

Tôi không thấy các giả định cung cấp thông tin về hoặc về vì vậy tôi chỉ đơn giản là không thể tính được đại lượng này . Ngoài ra, một số người có thể nghĩ rằng và thường được phân phối (hoặc thường được phân phối) có nghĩa là thường được phân phối, nhưng ...$f_{(Y_i, X_i)}$$f_{X_i}$$f_{Y_i|X_i} = \frac{f_{(Y_i, X_i)}}{f_{X_i}}$$Y_i = \beta_0 X_i + \epsilon_i$$\epsilon_i$$\epsilon_i|X_i$$Y_i|X$

Có một câu lệnh cho các biến ngẫu nhiên được phân phối bình thường nhưng nó sẽ như sau: Nếu được phân phối bình thường và là các ma trận cố định thì thường được phân phối lại. Trong trường hợp trên, là đó là không một ma trận liên tục.$X$$A, B$$AX+B$$B$$\beta_0 X_i$

Các nguồn khác dường như cho rằng thường được phân phối ngay lập tức. Đây dường như là một giả định kỳ lạ ... làm thế nào chúng ta có thể kiểm tra điều đó trên một tập dữ liệu thực?$f_{Y_i|X_i}$

Trân trọng + cảm ơn,

FW

Giả định chính để lấy được là nhiễu độc lập với đầu vào, đó là độc lập với . Bạn không cần phải biết hoặc giả sử bất cứ điều gì về việc phân phối .$f_{Y_i|X_i}$$\epsilon_i$$X_i$$X_i$

Bạn bắt đầu với:

$$f_{Y_i|X_i}(x,y)=p(Y_i=y|X_i=x)=p(\beta_0x+\epsilon_i=y|X_i=x)=p(\epsilon_i=y-\beta_0x|X_i=x)$$

Bây giờ giả định độc lập được sử dụng, vì độc lập với , mật độ của nó với giá trị chỉ đơn giản là mật độ của nó:$\epsilon_i$$X_i$$X_i$

$$p(\epsilon_i=y-\beta_0x|X_i=x)=p(\epsilon_i=y-\beta_0x)=...e^{(y-\beta_0x)^2/2\sigma^2}$$

Ngoài ra, bạn có thể nói rằng sự phân phối tiếng ồn có điều kiện cho$X_i$ là bình thường với phương sai không đổi (và có nghĩa là 0) với bất kỳ giá trị nào của . Đây là những gì thực sự quan trọng. Nhưng điều này hoàn toàn tương đương với giả định thông thường:$X_i$

• $\epsilon_i$ độc lập với$X_i$
• $\epsilon_i$ thường được phân phối (với giá trị trung bình 0)

Nhờ câu trả lời của Benoit Sanchez, cuối cùng tôi cũng hiểu (nhưng bị mắc kẹt trên con đường sai lầm của một quy tắc thay thế cho mật độ có điều kiện). Câu trả lời như sau:

Người ta cần phải giả định rằng

1. Các cặp đến từ các biến ngẫu nhiên sao cho các biến độc lập$(x_i, y_i)$$(X_i, Y_i)$$Z_i = (X_i, Y_i)$
2. $Y_i = \beta_0 X_i + \epsilon_i$
3. Các được IID. phân phối$\epsilon_i$$N(0,\sigma)$
4. $\epsilon_i$ độc lập với (lỗi không tăng hoặc giảm với tính năng nhưng không liên quan đến nó)$X_i$
5. $X = (X_1, ..., X_n)$ và có mật độ chung . Đặc biệt, tất cả có mật độ chung .$Y = (Y_1, ..., Y_n)$$f_{X,Y}$$(X_i, Y_i)$$f_{X_i, Y_i}$

Người ta cần quan sát đơn giản sau: Cho biến ngẫu nhiên có giá trị thực với mật độ chung và bijection sao cho và khác nhau thì tức là mật độ của biến ngẫu nhiên được chuyển đổi là mật độ cũ được đánh giá tại một điểm được chuyển đổi.$n$$Z_1, ..., Z_n$$f_{Z_1, ..., Z_n}$$\Phi : \mathbb{R}^n \to \mathbb{R}^n$$\Phi$$\Phi^{-1}$

$$f_{\Phi(Z_1, ..., Z_n)}(z_1, ..., z_n) = |\det(\partial \Phi^{-1})| f_{Z_1, ..., Z_n}(\Phi^{-1}(z_1, ..., z_n))$$

Quan sát chính là biến ngẫu nhiên hai chiều là một phép biến đổi đơn giản của , cụ thể là trong đó . Chúng ta có . Ma trận vi phân của nó là là một yếu tố quyết định.$(Y_i, X_i)$$(\epsilon_i, X_i)$

$$(Y_i, X_i) = \Phi(\epsilon_i, X_i)$$ $\Phi(e, x) = (e + \beta_0 x, x)$$\Phi^{-1}(y, x) = (y - \beta_0 x, x)$ $$\partial \Phi^{-1} = \begin{pmatrix}1 & \beta_0 \\ 0 & 1 \end{pmatrix}$$

Bây giờ chúng tôi áp dụng quan sát cho tình huống này và có được

$$f_{Y_i, X_i}(y,x) = f_{\Phi(\epsilon_i, X_i)}(y, x) = 1 \cdot f_{\epsilon_i, X_i}(\Phi^{-1}(y, x)) = f_{\epsilon_i, X_i}(y - \beta_0 x, x)$$

Bây giờ độc lập với theo giả định, do đó hay đúng hơn là và từ đây (và từ theo giả định không phụ thuộc) người ta có được các phương trình khả năng thông thường.$\epsilon_i$$X_i$

$$f_{Y_i, X_i}(y,x) = f_{\epsilon_i}(y - \beta_0 x) f_X(x)$$ $$f_{Y_i| X_i}(y|x) = \frac{f_{\epsilon_i}(y - \beta_0 x) f_X(x)}{f_X(x)} = f_{\epsilon_i}(y - \beta_0 x)$$ $f_{Y, X} = \prod_{i} f_{Y_i, X_i}$

Bây giờ tôi hạnh phúc :-)