Ưu điểm của việc tiếp cận vấn đề bằng cách xây dựng hàm chi phí có thể tối ưu hóa toàn cầu

Đây là một câu hỏi khá chung chung (nghĩa là không nhất thiết phải cụ thể đối với thống kê), nhưng tôi đã nhận thấy một xu hướng trong học máy và tài liệu thống kê nơi các tác giả thích theo cách tiếp cận sau:

Cách tiếp cận 1 : Có được giải pháp cho một vấn đề thực tế bằng cách xây dựng hàm chi phí có thể (ví dụ từ quan điểm tính toán) để tìm giải pháp tối ưu toàn cầu (ví dụ: bằng cách xây dựng hàm chi phí lồi).

thay vì:

Cách tiếp cận 2 : Có được giải pháp cho cùng một vấn đề bằng cách xây dựng hàm chi phí mà chúng tôi không thể có được giải pháp tối ưu toàn cầu (ví dụ: chúng tôi chỉ có thể có được giải pháp tối ưu cục bộ cho nó).

Lưu ý rằng nói một cách nghiêm túc hai vấn đề là khác nhau; giả định là chúng ta có thể tìm ra giải pháp tối ưu toàn cầu cho giải pháp thứ nhất, nhưng không phải cho giải pháp thứ hai.

Các cân nhắc khác sang một bên (tức là tốc độ, dễ thực hiện, v.v.), tôi đang tìm kiếm:

1. Một lời giải thích về xu hướng này (ví dụ toán học hoặc lập luận lịch sử)
2. Lợi ích (thực tế và / hoặc lý thuyết) khi làm theo Cách tiếp cận 1 thay vì 2 khi giải quyết vấn đề thực tế.

Tôi tin rằng mục tiêu nên là tối ưu hóa chức năng mà bạn quan tâm. Nếu đó là số lượng phân loại sai - và không phải là khả năng nhị thức, thì bạn nên thử giảm thiểu số lượng phân loại sai. Tuy nhiên, đối với số lượng lý do thực tế được đề cập (tốc độ, thực hiện, không ổn định, v.v.), điều này có thể không dễ dàng và thậm chí có thể là không thể. Trong trường hợp đó, chúng tôi chọn cách gần đúng giải pháp.

Tôi biết về cơ bản hai chiến lược gần đúng; hoặc chúng tôi đưa ra các thuật toán cố gắng gần đúng trực tiếp giải pháp của vấn đề ban đầu, hoặc chúng tôi cải tổ vấn đề ban đầu thành một vấn đề có thể giải quyết trực tiếp hơn (ví dụ như thư giãn lồi).

Một lập luận toán học cho việc thích một cách tiếp cận hơn là cách chúng ta có thể hiểu a) các tính chất của giải pháp thực sự được tính toán và b) giải pháp đó gần đúng với giải pháp của vấn đề mà chúng ta thực sự quan tâm.

Tôi biết nhiều kết quả trong thống kê nơi chúng tôi có thể chứng minh các thuộc tính của một giải pháp cho một vấn đề tối ưu hóa. Đối với tôi có vẻ khó khăn hơn để phân tích giải pháp của một thuật toán, trong đó bạn không có một công thức toán học về những gì nó tính toán (ví dụ: nó giải quyết một vấn đề tối ưu hóa nhất định). Tôi chắc chắn sẽ không tuyên bố rằng bạn không thể, nhưng nó dường như là một lợi ích về mặt lý thuyết , nếu bạn có thể đưa ra một công thức toán học rõ ràng về những gì bạn tính toán.

Tôi không rõ ràng, nếu những lập luận toán học như vậy mang lại bất kỳ lợi ích thiết thực nào cho Cách tiếp cận 1 so với Cách tiếp cận 2. Chắc chắn có ai đó ở ngoài đó, những người không sợ hàm mất không lồi .

@NRH đã cung cấp câu trả lời cho câu hỏi này (hơn 5 năm trước), vì vậy tôi sẽ chỉ cung cấp Cách tiếp cận 3, kết hợp Phương pháp 1 và 2.

Cách tiếp cận 3 :

1. Xây dựng và giải quyết tối ưu toàn cầu một lồi, hoặc trong mọi trường hợp, tối ưu hóa toàn cầu (không nhất thiết là lồi), vấn đề "gần gũi" với vấn đề bạn thực sự muốn giải quyết.
2. Sử dụng giải pháp tối ưu toàn cầu từ bước 1 làm giải pháp khởi đầu (ban đầu) cho vấn đề tối ưu hóa không lồi mà bạn thực sự muốn giải quyết (hoặc muốn giải quyết nhiều hơn vấn đề được giải quyết ở bước 1). Hy vọng rằng giải pháp khởi đầu của bạn nằm trong "khu vực thu hút" với mức tối ưu toàn cầu so với phương pháp giải pháp được sử dụng để giải quyết vấn đề tối ưu hóa không lồi mà bạn thực sự muốn giải quyết.