Tại sao các phương pháp hồi quy tối thiểu và bình phương tối thiểu không tương đương khi các lỗi không được phân phối bình thường?

Tiêu đề nói lên tất cả. Tôi hiểu rằng Least-Squares và Maximum-Likabilities sẽ cho kết quả tương tự đối với các hệ số hồi quy nếu các lỗi của mô hình thường được phân phối. Nhưng, điều gì xảy ra nếu các lỗi không được phân phối bình thường? Tại sao hai phương pháp không còn tương đương?

Câu trả lời ngắn

Mật độ xác suất của biến phân phối Gaussian đa biến , với trung bình có liên quan đến bình phương của euclide khoảng cách giữa giá trị trung bình và biến ( ), hay nói cách khác là tổng bình phương.$x=(x_1, x_2,...,x_n)$$\mu=(\mu_1,\mu_2,...,\mu_n)$$\vert \mu-x \vert_2^2$

---

Câu trả lời dài

Nếu bạn nhân nhiều phân phối Gaussian cho lỗi của bạn , trong đó bạn giả sử độ lệch bằng nhau, thì bạn sẽ có được một tổng bình phương.$n$

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

hoặc ở dạng logarit thuận tiện:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

Vì vậy, tối ưu hóa để giảm thiểu tổng bình phương bằng với tối đa hóa khả năng (log) (nghĩa là sản phẩm của nhiều phân phối Gaussian hoặc phân phối Gaussian đa biến).$\mu$

Đây là hình vuông lồng nhau của sự khác biệt bên trong cấu trúc hàm mũ, , điều mà các bản phân phối khác không có.$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

So sánh ví dụ với trường hợp phân phối Poisson

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

có tối đa khi tối thiểu hóa những điều sau đây:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

đó là một con thú khác nhau

---

Ngoài ra (lịch sử)

Lịch sử của phân phối bình thường (bỏ qua deMoivre đến phân phối này như là một xấp xỉ cho phân phối nhị thức) thực sự là khám phá phân phối làm cho MLE tương ứng với phương pháp bình phương nhỏ nhất (chứ không phải là phương pháp bình phương nhỏ nhất là phương pháp có thể biểu thị MLE của phân phối chuẩn, đầu tiên là phương pháp bình phương nhỏ nhất, thứ hai là phân phối Gaussian)

Lưu ý rằng Gauss, kết nối 'phương pháp khả năng tối đa' với 'phương pháp bình phương tối thiểu', đã đưa ra 'phân phối Gaussian', , là phân phối lỗi duy nhất dẫn chúng ta đến tạo kết nối này giữa hai phương thức$e^{-x^2}$

Từ bản dịch của Charles Henry Davis (Lý thuyết về chuyển động của các thiên thể di chuyển về mặt trời trong các phần hình nón. Bản dịch của "Theoria motus" của Gauss, với một phụ lục) ...

Gauss định nghĩa:

Theo đó, xác suất được chỉ định cho từng lỗi sẽ được biểu thị bằng hàm mà chúng ta sẽ biểu thị bằng .$\Delta$$\Delta$$\psi \Delta$

^{(Việc in nghiêng do tôi thực hiện)}

Và tiếp tục ( trong phần 177 trang 258 ):

... từ đó có thể dễ dàng suy ra rằng phải là một số lượng không đổi. mà chúng ta sẽ biểu thị bằng . Do đó, chúng tôi có biểu thị cơ sở của logarit hyperbol bằng và giả sử$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

kết thúc (sau khi bình thường hóa và nhận ra ) trong$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Viết bởi StackExchangeStrike

Bởi vì MLE có nguồn gốc từ giả định phân phối dư thường.

Lưu ý rằng

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

Có không có ý nghĩa xác suất : chỉ cần tìm ra giảm thiểu hàm tổn thất bình. Tất cả mọi thứ là xác định, và không có thành phần ngẫu nhiên trong đó.$\beta$

Trường hợp khái niệm xác suất và khả năng đến, chúng ta giả sử

$$y=X\beta + \epsilon$$

Trong đó chúng tôi đang xem xét như một biến ngẫu nhiên và thường được phân phối.$y$$\epsilon$

Bình phương nhỏ nhất và khả năng phù hợp tối đa (gaussian) luôn luôn tương đương. Đó là, chúng được tối thiểu hóa bởi cùng một hệ số.

Thay đổi giả định về các lỗi sẽ thay đổi hàm khả năng của bạn (tối đa hóa khả năng của một mô hình tương đương với tối đa hóa khả năng của thuật ngữ lỗi), và do đó hàm sẽ không còn được tối thiểu hóa bởi cùng một hệ số.

Vì vậy, trong thực tế hai cái này giống nhau, nhưng về lý thuyết, khi bạn tối đa hóa một khả năng khác nhau, bạn sẽ nhận được một câu trả lời khác với Least-squares

Một ví dụ cụ thể: Giả sử chúng ta lấy hàm lỗi đơn giản p (1) =. 9, p (-9) = .10. Nếu chúng tôi lấy hai điểm, thì LS sẽ chỉ đi qua đường đó. ML, mặt khác, sẽ giả định rằng cả hai điểm là một đơn vị quá cao, và do đó sẽ đưa dòng qua các điểm được chuyển xuống trên đơn vị.