Mối liên hệ giữa chính quy hóa và phương pháp nhân bội là gì?

Để ngăn chặn overfitting người dân thêm một thuật ngữ chính quy (tỉ lệ với tổng bình phương của các thông số của mô hình) với một tham số quy tắc $\lambda$ đến chức năng chi phí của hồi quy tuyến tính. Là tham số này $\lambda$ giống như một số nhân Lagrange? Vì vậy, chính quy có giống như phương pháp nhân số trễ không? Hoặc những phương thức này được kết nối như thế nào?

Giả sử chúng ta đang tối ưu hóa một mô hình với các thông số , bằng cách giảm thiểu một số tiêu chí f ( → q ) phải chịu hạn chế về tầm quan trọng của các vector tham số (ví dụ để thực hiện một cấu trúc giảm thiểu nguy cơ tiếp cận bằng cách xây dựng một bộ lồng nhau của các mô hình tăng phức tạp), chúng ta sẽ cần phải giải quyết:$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

Lagrangian cho vấn đề này là (báo trước: tôi nghĩ, đó là một ngày dài ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

Vì vậy, có thể dễ dàng nhận thấy rằng hàm chi phí chính quy có liên quan chặt chẽ đến vấn đề tối ưu hóa bị ràng buộc với tham số chính quy có liên quan đến hằng số điều chỉnh ràng buộc ( ) và về cơ bản là hệ số nhân Lagrange. $\lambda$$C$

Điều này minh họa tại sao ví dụ hồi quy sườn thực hiện tối thiểu hóa rủi ro cấu trúc: Chính quy hóa tương đương với việc đặt một ràng buộc về độ lớn của vectơ trọng lượng và nếu thì mọi mô hình có thể được thực hiện trong khi tuân theo ràng buộc đó$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

cũng sẽ có sẵn trong các ràng buộc

$\|\vec{\theta}\|^2 < C_1$ .

Do đó, việc giảm tạo ra một chuỗi các không gian giả thuyết về độ phức tạp tăng dần.$\lambda$