Sự tương đương giữa bình phương nhỏ nhất và MLE trong mô hình Gaussian

Tôi chưa quen với Machine Learning và đang cố gắng tự học. Gần đây tôi đang đọc qua một số ghi chú bài giảng và có một câu hỏi cơ bản.

Slide 13 nói rằng "Ước tính tối thiểu vuông giống như Ước tính khả năng tối đa theo mô hình Gaussian". Có vẻ như nó là một cái gì đó đơn giản, nhưng tôi không thể thấy điều này. Ai đó có thể vui lòng giải thích những gì đang xảy ra ở đây? Tôi thích xem Toán.

Sau này tôi cũng sẽ cố gắng xem quan điểm xác suất của hồi quy Ridge và Lasso, vì vậy nếu có bất kỳ đề xuất nào sẽ giúp tôi, điều đó cũng sẽ được đánh giá cao.

regression bayesian least-squares

— Andy
nguồn

Hàm mục tiêu ở dưới cùng của p. 13 chỉ là bội số ( ) không đổi của hàm mục tiêu ở dưới cùng của p. 10. MLE giảm thiểu cái trước trong khi hình vuông nhỏ nhất giảm thiểu cái sau, QED.

n

$n$

— whuber

@whuber: Cảm ơn câu trả lời của bạn. Vâng, điều mà tôi muốn biết là làm thế nào mà MLE đang thực hiện việc giảm thiểu.

— Andy

Bạn có nghĩa là cơ học hoặc khái niệm?

— whuber

@whuber: Cả hai! Nếu tôi có thể thấy môn Toán đó, điều đó cũng có ích.

— Andy

Liên kết bị hỏng; việc thiếu một tài liệu tham khảo đầy đủ và nhiều bối cảnh hơn cho trích dẫn làm cho việc loại bỏ tham chiếu hoặc tìm nguồn thay thế cho nó trở nên khó khăn. Là slide 13 của liên kết này là đủ? --- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

— Glen_b -Reinstate Monica

Trong mô hình

$Y = X \beta + \epsilon$

nơi , các loglikelihood của cho một mẫu của đối tượng là (tối đa hằng số phụ gia) $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

xem như là một chức năng của chỉ , các công cụ tối đa là chính xác điều đó làm tối thiểu $\beta$

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

Điều này làm cho sự tương đương rõ ràng?

— Vĩ mô
nguồn

Đây chính xác là những gì trong các slide được đề cập trong OP

— whuber

Vâng tôi thấy điều đó nhưng họ không thực sự viết khả năng ghi nhật ký Gaussian trên trang 13, sau khi làm như vậy, rõ ràng là argmax của nó giống như argmin của tiêu chí OLS, vì vậy tôi nghĩ rằng đây là một bổ sung đáng giá.

— Macro

điểm tốt: slide là một chút sơ sài với các chi tiết.

— whuber

β

$\beta$

L_{2}

$L_{2}$

Hằng số phụ gia làn/2 log(2 *pi)

— SmallChess