Nhật ký tối thiểu Lọ vuông và Hồi quy tuyến tính Hồi giáo, chúng có phải là từ đồng nghĩa không?

Sự khác biệt giữa bình phương nhỏ nhất và hồi quy tuyến tính là gì? Đó có phải là điều tương tự?

regression least-squares terminology

— bbadyalina
nguồn

Tôi muốn nói rằng bình phương tối thiểu thông thường là một phương pháp ước lượng trong phạm vi hồi quy tuyến tính rộng hơn . Mặc dù có thể một số tác giả đang sử dụng "bình phương tối thiểu" và "hồi quy tuyến tính" như thể chúng có thể hoán đổi cho nhau.

— Matthew Gunn

Nếu bạn đang làm bình phương tối thiểu bình thường , tôi sẽ sử dụng thuật ngữ đó. Nó ít mơ hồ hơn.

— Matthew Gunn

Xem thêm mô hình hồi quy là gì .

— Richard Hardy

Câu trả lời:

Hồi quy tuyến tính giả định mối quan hệ tuyến tính giữa biến độc lập và biến phụ thuộc. Nó không cho bạn biết mô hình được trang bị như thế nào. Phù hợp vuông nhỏ nhất chỉ đơn giản là một trong những khả năng. Các phương pháp khác để đào tạo một mô hình tuyến tính là trong bình luận.

Bình phương tối thiểu phi tuyến tính là phổ biến ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Ví dụ: thuật toán LevenbergTHER Marquest phổ biến giải quyết một cái gì đó như:

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} \sum_{i = 1}^{m} {[y_{i} - f (x_{i}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

Đó là tối ưu hóa bình phương tối thiểu nhưng mô hình không tuyến tính.

Chúng không giống nhau .

— Chào thế giới
nguồn

Ngoài câu trả lời đúng của @Student T, tôi muốn nhấn mạnh rằng bình phương nhỏ nhất là hàm mất tiềm năng cho một vấn đề tối ưu hóa, trong khi hồi quy tuyến tính là một vấn đề tối ưu hóa.

Cho một tập dữ liệu nhất định, hồi quy tuyến tính được sử dụng để tìm hàm tuyến tính tốt nhất có thể, đó là giải thích kết nối giữa các biến.

Trong trường hợp này, "tốt nhất" có thể được xác định bởi hàm mất, so sánh các giá trị dự đoán của hàm tuyến tính với các giá trị thực trong tập dữ liệu. Least Squares là một chức năng mất có thể.

Bài viết trên wikipedia về bình phương nhỏ nhất cũng hiển thị hình ảnh ở phía bên phải hiển thị sử dụng bình phương tối thiểu cho các vấn đề khác ngoài hồi quy tuyến tính, chẳng hạn như:

conic-lắp
phù hợp với chức năng bậc hai

Ảnh gif sau đây từ bài viết trên wikipedia cho thấy một số hàm đa thức khác nhau được trang bị cho tập dữ liệu sử dụng bình phương tối thiểu. Chỉ một trong số đó là tuyến tính (đa thức 1). Điều này được lấy từ bài viết wikipedia của Đức đến chủ đề.

— Nikolas Rieble
nguồn

Chúng ta có thể lập luận các ví dụ phi tuyến tính trong hình ảnh động thực sự vẫn là tuyến tính trong các tham số.

— Firebug

Đúng, nhưng mối quan hệ mô hình giữa mục tiêu và biến đầu vào là phi tuyến tính. Bạn có thể gọi "hồi quy tuyến tính" phù hợp? Tôi sẽ không.

— Nikolas Rieble

Chúng ta nên phân biệt giữa "bình phương tối thiểu tuyến tính" và "hồi quy tuyến tính", vì tính từ "tuyến tính" trong hai tính từ này đề cập đến những thứ khác nhau. Cái trước liên quan đến sự phù hợp là tuyến tính trong các tham số, và cái sau liên quan đến sự phù hợp với một mô hình là một hàm tuyến tính của (các) biến độc lập.

— JM không phải là một nhà thống kê

@JM Nhiều nguồn duy trì rằng "tuyến tính" trong hồi quy "tuyến tính" có nghĩa là "tuyến tính trong các tham số" chứ không phải "tuyến tính trong IV". Bài báo WIkipedia về hồi quy tuyến tính là một ví dụ là một ví dụ. Dưới đây là một và khác . Nhiều văn bản thống kê làm tương tự; Tôi cho rằng đó là một quy ước.

— Glen_b -Reinstate Monica

y = m x + b

$y=mx+b$