Hồi quy tuyến tính: bất kỳ phân phối không bình thường nào cho danh tính của OLS và MLE?

13

Câu hỏi này được lấy cảm hứng từ cuộc thảo luận dài trong các bình luận ở đây: Làm thế nào để hồi quy tuyến tính sử dụng phân phối chuẩn?

Trong mô hình hồi quy tuyến tính thông thường, vì đơn giản đây bằng văn bản với chỉ có một yếu tố dự báo:

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ nơi

x_{i}

$x_i$ được biết hằng số và

ϵ_{i}

$\epsilon_i$ là zero-mean về lỗi độc lập. Nếu chúng ta ngoài giả định phân phối chuẩn cho các lỗi, sau đó thông thường ít nhất là hình vuông ước lượng và lập dự toán tối đa khả năng của

β_{0}, β_{1}

$\beta_0, \beta_1$ là giống hệt nhau.

Vì vậy, câu hỏi dễ dàng của tôi: có tồn tại bất kỳ phân phối nào khác cho các điều khoản lỗi sao cho mle giống hệt với công cụ ước tính bình phương tối thiểu thông thường không? Một hàm ý dễ thể hiện, một hàm ý khác thì không.

— kjetil b halvorsen
nguồn

1

(+1) Nó sẽ cần phải là một phân phối tập trung vào khoảng 0 và có vẻ như nó sẽ hữu ích nếu nó là một phân phối đối xứng. Một số ứng cử viên xuất hiện trong tâm trí, như phân phối t- hoặc Laplace dường như không thực hiện mánh khóe như MLE, ngay cả trong trường hợp duy nhất không đổi, không có sẵn ở dạng đóng hoặc được đưa ra bởi trung vị, tương ứng.

— Christoph Hanck

xem thêm stats.stackexchange.com/questions/99014/ , dường như chỉ có quá nhiều thứ để tìm thấy

— Christoph Hanck

Tôi chắc chắn câu trả lời là không. Có thể khó để viết một bằng chứng nghiêm ngặt tuy nhiên.

— Gordon Smyth

11

Trong ước tính khả năng tối đa, chúng tôi tính toán

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

mối quan hệ cuối cùng có tính đến cấu trúc tuyến tính của phương trình hồi quy.

Trong so sánh, công cụ ước tính OLS thỏa mãn

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

Để có được các biểu thức đại số giống hệt nhau cho các hệ số độ dốc, chúng ta cần phải có mật độ cho thuật ngữ lỗi sao cho

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

Đây là các phương trình vi phân có dạng có giải pháp $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

Bất kỳ hàm nào có hạt nhân này và tích hợp để thống nhất trên một miền thích hợp, sẽ làm cho MLE và OLS cho các hệ số độ dốc giống hệt nhau. Cụ thể là chúng tôi đang tìm kiếm

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

Có một như vậy không phải là mật độ bình thường (hoặc nửa bình thường hoặc đạo hàm của hàm lỗi)? $g$

Chắc chắn rồi. Nhưng một điều nữa người ta phải xem xét là những điều sau đây: nếu một sử dụng các dấu cộng ở số mũ, và hỗ trợ đối xứng xung quanh zero ví dụ, người ta sẽ nhận được một mật độ mà có một độc đáo tối thiểu ở giữa, và hai cực đại địa phương tại ranh giới của sự hỗ trợ.

— Alecos Papadopoulos
nguồn

Câu trả lời tuyệt vời (+1), nhưng nếu người ta sử dụng dấu cộng trong hàm, nó có phải là mật độ không? Sau đó, nó sẽ xuất hiện rằng hàm có tích phân vô hạn và do đó không thể được chuẩn hóa thành hàm mật độ. Nếu đó là trường hợp, chúng tôi chỉ còn lại với phân phối bình thường.

— Phục hồi Monica

1

(a, b)

$(a,b)$

Điều đó đúng - tôi đã cho rằng.

— Phục hồi Monica

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

$\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— Tây An
nguồn

1

Điều này có vẻ không đúng với tôi. Nếu bạn sử dụng phân phối đối xứng hình cầu khác nhau, điều đó có dẫn đến việc giảm thiểu một hàm khác của định mức so với bình phương (do đó không phải là ước lượng bình phương nhỏ nhất) không?

— Phục hồi Monica

1

Tôi không biết về câu hỏi này cho đến khi @ Xi'an chỉ cập nhật với một câu trả lời. Có một giải pháp chung chung hơn. Phân phối gia đình theo cấp số nhân với một số tham số cố định sản lượng cho phân kỳ Bregman. Đối với phân phối như vậy có nghĩa là tối thiểu hóa. Giảm thiểu OLS cũng là trung bình. Do đó, đối với tất cả các phân phối như vậy, chúng phải trùng nhau khi hàm tuyến tính được liên kết với tham số trung bình.

http://citeseerx.ist.psu.edu/viewdoc/doad?doi=10.1.1.75.6958&rep=rep1&type=pdf

— Cagdas Ozgenc
nguồn