độ phức tạp của mô hình phù hợp với dữ liệu

Giả sử $f:\mathbf{R}\times \mathbf{R} \to \mathbf{R}$ là một số hàm liên tục

$x_1 \ldots x_n$ là một tập hợp các giá trị thực, và chúng tôi muốn tính toán

$\text{argmin}_a \sum_i f(a,x_i)$ đến độ chính xác theo quy định

Có một số kết quả về khó khăn của vấn đề này cho các f khác nhau?

Chẳng hạn, giả sử $f(m,x)=(m-x)^2$ . Tối thiểu của vấn đề của chúng tôi bây giờ là giá trị trung bình của x, dễ tính toán. Mặt khác, giả sử $f(m,x)=\log (1+\exp(-m x))$ , không có giải pháp dạng đóng, vì vậy có vẻ như argmin khó tính toán hơn ... hay là vậy?

Động lực: vấn đề tối thiểu hóa này xuất hiện khi lắp mô hình vào dữ liệu. Ví dụ đầu tiên của f là bình phương nhỏ nhất phù hợp và f thứ hai là hồi quy logistic.

Chỉnh sửa : Tôi vừa thấy một câu hỏi liên quan , và đó là trên tinh thần của những gì tôi đã hỏi, cho một sự lựa chọn cụ thể của f

$f$

Có nhiều phương pháp số tốt hơn khác với các đảm bảo khác nhau (tùy thuộc vào các thuộc tính của hàm) để tối ưu hóa các hàm lồi - cuốn sách này là một tài liệu tham khảo tốt (và miễn phí!).

Bạn có thể đã nhận thức được điều này, nhưng nếu f là phân kỳ Bregman , thì arg min này luôn có một giải pháp dễ dàng. Biểu mẫu cụ thể phụ thuộc vào thứ tự của các tham số, nhưng nếu biểu thức được thu nhỏ là

Trong đó là phân kỳ Bregman, thì câu trả lời luôn là giá trị trung bình của . Nếu thứ tự của các tham số là cách khác, thì bạn có thể sử dụng tính nhị phân của các phân kỳ Bregman. Cụ thể, nếu được tạo bởi hàm lồi nghiêm ngặt , thì giải pháp là -mean được đưa ra bởi .$f$$x_i$$f$$\phi$$\phi$$c$

Một trường hợp thú vị khác là khi là chỉ tiêu Euclide (không bình phương). Trong trường hợp đó, arg min là điểm Fermat-Weber nổi tiếng và đã được nghiên cứu rộng rãi trong nghiên cứu hoạt động. Có một sơ đồ lặp tối ưu toàn cầu để giải quyết nó, nhưng không có biểu thức dạng đóng.$f$