Heuristic để tối ưu hóa

Kể từ thứ sáu, đã đến lúc trả lời câu hỏi CW. Tôi đang tìm kiếm các heuristic có sử dụng rộng rãi trong các vấn đề tối ưu hóa. Để giới hạn phạm vi đối với các heuristic 'thân thiện với lý thuyết' hơn, đây là các quy tắc (một số tùy ý, một số không)

• Nó phải là một phương thức được xác định rõ mà không có nhiều tham số và với thời gian chạy cụ thể (có thể mỗi lần lặp)
• Nó nên có một số kết quả lý thuyết đã biết liên quan đến nó (tỷ lệ hội tụ, giới hạn gần đúng nếu có, thuộc tính đứng yên, v.v.)
• Nó nên có khả năng ứng dụng rộng rãi và ít nhất một ứng dụng hàng đầu trong đó là phương pháp lựa chọn hoặc một trong số ít.
• nó không nên được lấy cảm hứng từ thiên nhiên (trong khi điều này có vẻ như là một sự phản đối phù phiếm, tôi đang cố gắng loại trừ các thuật toán di truyền, tối ưu hóa đàn kiến ​​và những thứ tương tự).

Câu trả lời lý tưởng nên ở định dạng sau: đây là một ví dụ.

Tên : Optimizaton xen kẽ

Mục tiêu : Tối thiểu hóa hàm (thường không phải là hàm) $f(x,y)$

$g(x) = \min_y f(x,y)$$h(y) = \min_x f(x,y)$

Thuật toán : phép lặp bắt đầu bằng . x i , y $i^{\text{th}}$$x_i, y_i$

1. $x_{i+1} \leftarrow \arg \min_x f(x, y_i)$
2. $y_{i+1} \leftarrow \arg\min_y f(x_{i+1}, y)$

Ứng dụng được biết đến nhiều nhất : -means, cặp lặp gần nhất.$k$

Lý thuyết : Kết quả đã biết về -means, điều kiện đủ chung cho sự tối ưu toàn cầu của khung$k$

ps Bạn có thể thấy rằng câu trả lời của bạn kết thúc như một bài giảng trong một hội thảo về thuật toán mà tôi đang lên kế hoạch :)

Tên: lặp lại tối thiểu vuông góc
Mục tiêu: hàm thu nhỏ của biểu mẫu , , , Điều kiện: phụ thuộc vào trường hợp Thuật toán: hiển nhiên - sửa trọng số, giải bài toán bậc hai, tính toán lại trọng số Ứng dụng được biết đến nhiều nhất: trung bình hình học, ước lượng M, định mức , cảm biến nén Lý thuyết: chứng minh dựa trên từng trường hợp θ ∈ R n F ( θ ) ∈ R m w ( θ ) ∈ R L $\sum w(\theta)F(\theta)^2$$\theta\in R^n$$F(\theta) \in R^m$$w(\theta)\in R$


$L_p$