Nguồn gốc của thuật ngữ chính quy hóa

Khi tôi giới thiệu các khái niệm cho các sinh viên của mình, tôi thường thấy vui khi nói cho họ biết thuật ngữ này bắt nguồn từ đâu ("hồi quy", chẳng hạn, là một thuật ngữ có nguồn gốc thú vị). Tôi chưa thể tìm ra lịch sử / nền tảng của thuật ngữ "chính quy hóa" trong học thống kê / học máy.

Vì vậy, nguồn gốc của thuật ngữ chính quy là gì?

Tương tự như đóng góp của Matthew Gunn , đây cũng không thực sự là một câu trả lời, mà là một ứng cử viên hợp lý hơn.

Lần đầu tiên tôi cũng nghe về thuật ngữ "chính quy hóa" trong bối cảnh Chính quy hóa Tikhonov , và đặc biệt trong bối cảnh các vấn đề nghịch đảo (tuyến tính) trong địa vật lý. Thật thú vị, trong khi tôi đã nghĩ rằng đó có thể là do lĩnh vực nghiên cứu của tôi (ví dụ như xem tên người dùng của tôi), rõ ràng Tikhonov thực sự đã làm nhiều công việc của mình trong lĩnh vực đó!

Linh cảm của tôi là "quy tắc" cách tiếp cận hiện đại có khả năng đã xuất phát với công việc Tikhonov của. Dựa trên suy đoán này, đóng góp của tôi ở đây có hai phần.

Phần đầu tiên là (ghế bành-) có tính chất lịch sử (dựa trên tiêu đề giấy dễ hiểu và những thành kiến ​​trước đây của riêng tôi!). Trong khi Giải pháp giấy năm 1963 về các vấn đề được xây dựng không chính xác và phương pháp chính quy hóa dường như là cách sử dụng đầu tiên của thuật ngữ "chính quy hóa", tôi sẽ không quá chắc chắn rằng điều này là đúng. Tài liệu tham khảo này được trích dẫn trong Wikipedia là

Tikhonov, AN (1963). "Еее Doklady Akademii Nauk SSSR. 151: 501 Được dịch trong "Giải pháp cho các vấn đề được xây dựng không chính xác và phương pháp chính quy". Toán học Liên Xô. 4: 1035 Ném1038.

tạo ấn tượng rằng chính Tikhonov đã viết ít nhất một số tác phẩm này bằng tiếng Nga, vì vậy cụm từ "chính quy hóa" có thể được đặt ra bởi một dịch giả sau này. [CẬP NHẬT: Không, "регуляризации" = chính quy hóa , xem bình luận của Cagdas Ozgenc.] Ngoài ra, công việc này dường như là một phần của một nghiên cứu liên tục được thực hiện bởi Tikhonov trong thời gian dài hơn nhiều . Ví dụ như tờ giấy

Tikhonov, Andrey Nikolayevich (1943). "Ббббббббббббббб Doklady Akademii Nauk SSSR. 39 (5): 195 Vang198.

cho thấy ông đã tham gia vào cùng một chủ đề chung ít nhất 20 năm trước. Tuy nhiên , dòng thời gian này cho thấy rằng có lẽ công việc vấn đề nghịch đảo bắt đầu gần hơn với năm 1963 so với năm 1943.

[ CẬP NHẬT: Bản dịch của bài báo năm 1943 này cho thấy thuật ngữ " tính đều đặn " của ở đây được sử dụng để chỉ "tính ổn định của vấn đề nghịch đảo (hoặc tính liên tục của ánh xạ nghịch đảo)" .]

Phần thứ hai của sự đóng góp của tôi là một giả thuyết về cách "chính quy hóa" có thể được dự định ban đầu trong bối cảnh này. Khá thường xuyên "thông thường" được sử dụng như một từ đồng nghĩa với "mịn", đặc biệt trong việc mô tả đường cong và / hoặc hình học bề mặt. Trong hầu hết các ứng dụng địa vật lý, giải pháp mong muốn là một số ước tính có sẵn của một lĩnh vực phân tán không gian , và chính quy Tikhonov được sử dụng để áp dụng độ trơn tru trước đó.

(Ma trận Tikhonov thường sẽ là toán tử đạo hàm không gian rời rạc , gần giống với ma trận PDE, so với ma trận nhận dạng của hồi quy sườn. Điều này là do các mô hình lưới / chuyển tiếp này, không gian rỗng của ma trận mô hình chuyển tiếp có xu hướng bao gồm những thứ như "chế độ bàn cờ" sẽ làm ô nhiễm kết quả trừ khi bị phạt; tương tự như điều này ).

Cập nhật: Những vấn đề này được minh họa trong câu trả lời của tôi ở đây .

Tóm lược

1. Tôi cũng bỏ phiếu cho Tikhonov là người khởi xướng (có thể vào khoảng năm 1963)
2. Các ứng dụng ban đầu có thể là mô hình nghịch đảo địa vật lý, vì vậy thuật ngữ "chính quy hóa" có thể đề cập đến việc làm cho các bản đồ kết quả * trơn tru hơn, tức là "thông thường".

(* Dựa trên trích dẫn được cập nhật từ bài báo năm 1943, cụm từ này có vẻ đúng ... nhưng vì lý do sai! "Bản đồ" có liên quan không nằm giữa lưới và trường, , nhưng ánh xạ ngược từ mô hình chuyển tiếp .)θ = F - 1 [ u $u[x]=F[\theta]$$\theta=F^{-1}[u]$

Đây là một phần câu trả lời, một phần bình luận dài. Một danh sách không đầy đủ các ứng cử viên:

1. Tikhonov, Andrey. "Giải pháp cho các vấn đề được xây dựng không chính xác và phương pháp chính quy." Toán Xô viết. Dokl .. Tập. 5. 1963. Tikhonov được biết đến với chính quy Tikhonov (còn được gọi là hồi quy sườn núi).

2. Có một khái niệm về chính quy hóa trong vật lý ít nhất là từ những năm 1940, nhưng tôi không thấy bất kỳ mối liên hệ nào với chính quy hóa Tikhonov? (Tôi không phải là nhà vật lý mặc dù.)

3. Các văn bản kỹ thuật nói về việc thường xuyên hóa một dòng sông (để cải thiện giao thông thủy) trở lại ít nhất là vào những năm 1880.

Tìm kiếm thông qua http://books.google.com.vn , tôi không thấy việc sử dụng rộng rãi thuật ngữ "chính quy hóa" cho đến những năm 1970, khi nó bắt đầu xuất hiện hết lần này đến lần khác trong bối cảnh sách toán học và vật lý.

Đơn giản nhất, thuật ngữ này đã sống sót qua sự tiến hóa tự nhiên của các thuật ngữ khoa học bởi vì nó nắm bắt được mục tiêu cốt lõi của kỹ thuật: từ một loạt các giải pháp đến một vấn đề không chính đáng, nó chọn các giải pháp thường xuyên , đó là,

theo quy tắc

( định nghĩa từ điển miễn phí )

Điều này cũng được sử dụng trong ngôn ngữ phổ biến để thiết kế một bề mặt mịn trong mộc chẳng hạn. Tương tự, các giải pháp của một vấn đề hồi quy sẽ trông thường xuyên hơn nếu quy tắc là giảm thiểu tổng biến thiên (TV) của các bit không khớp của tín hiệu được tái tạo (ví dụ như được đo bằng tổng năng lượng của độ dốc).

Thuật ngữ này trở nên phổ biến rộng rãi vì nó rất chung chung: bất kỳ ai cũng có thể xác định một quy tắc của nó, từ các biện pháp TV cho đến các biện pháp định mức L1 hoặc bằng cách sử dụng giả định ! Như vậy, quy tắc có thể đóng một vai trò tương tự như trước trong thống kê Bayes.$\ell_0$