Tại sao chúng ta gọi các phương trình ước lượng bình phương nhỏ nhất trong hồi quy tuyến tính là * phương trình bình thường *?

Khi chúng ta muốn ước tính các tham số của hồi quy tuyến tính, chúng ta thực hiện các phương trình bình thường nhiều như mô hình tuyến tính chứa số lượng ẩn số. Tại sao các phương trình này được gọi là phương trình bình thường?

Tôi sẽ đưa ra những gì có lẽ là sự hiểu biết phổ biến nhất, sau đó là một số chi tiết bổ sung.

Bình thường là một thuật ngữ trong hình học (Wikipedia):

Trong hình học, bình thường là một đối tượng như đường thẳng hoặc vectơ vuông góc với một đối tượng nhất định.

đến lượt nó xuất phát từ một thuật ngữ cho hình vuông của thợ mộc hoặc thợ xây [1]

BÌNH THƯỜNG và BÌNH THƯỜNG. Theo OED, trong tiếng Latin Norma có thể có nghĩa là một hình vuông được sử dụng bởi thợ mộc, thợ xây, v.v., để có được góc vuông, góc vuông hoặc tiêu chuẩn hoặc mô hình thực hành hoặc hành vi. Những ý nghĩa này được phản ánh trong các thuật ngữ toán học dựa trên tiêu chuẩn và bình thường.

và từ hình học thuật ngữ di chuyển vào không gian vectơ.

Câu trả lời trực tiếp cho "phương trình bình thường" được đưa ra ở đây: http://mathworld.wolfram.com/N normalEquation.html

Nó được gọi là một phương trình bình thường vì là bình thường đến phạm vi của .$b-Ax$$A$

(Trong ký hiệu hồi quy thông thường, ' là bình thường đối với phạm vi của ')$y-Xb$$X$

Theo nghĩa đen, các bình phương nhỏ nhất còn lại vuông góc (vuông góc) để không gian kéo dài của .$X$

Các -vector nằm trong chiều. Ma trận X kéo dài của những cái đó (hoặc tùy thuộc vào cách ký hiệu của bạn được thiết lập; nếu có thứ hạng đầy đủ, thì đó là số cột của X). Giải pháp bình phương tối thiểu là điểm gần nhất trong không gian đó được kéo dài đến -vector đó (thực sự, theo nghĩa đen là hình chiếu của lên không gian được kéo dài ). Điều cần thiết là bằng cách tối thiểu hóa tổng bình phương, sự khác biệt là trực giao với không gian được kéo dài bởin p p + 1 X X β X y y X y - X β$y$$n$$p$$p+1$$X$$X\hat{\beta}$$X$$y$$y$$X$$y-X\hat{\beta}$$X$. (Nếu không, sẽ có một giải pháp nhỏ hơn.)

Tuy nhiên, như whuber gợi ý trong các bình luận, nó không hoàn toàn rõ ràng như vậy.

Nhìn vào [1] lần nữa:

Thuật ngữ BÌNH THƯỜNG BÌNH THƯỜNG trong các ô vuông nhỏ nhất được Gauss giới thiệu vào năm 1822 [James A. Landau]. "Thuật ngữ tiêu chuẩn" của Kruskal & Stigler (trong Stigler (1999)) xem xét các giả thuyết khác nhau về nguồn gốc của thuật ngữ này nhưng không tìm thấy bất kỳ thỏa đáng nào.

Tuy nhiên, phương pháp của các phương trình bình thường thường được ghi nhận vào Legendre, 1805.

[1] Miller, J. (ed) "Sử dụng sớm nhất một số từ của toán học, N" trong cách sử dụng được biết đến sớm nhất của một số từ của toán học