Có bất kỳ kỹ thuật dựa trên độ dốc để tìm kiếm tối thiểu (tối đa) tuyệt đối của một chức năng trong không gian đa chiều không?

11

Tôi quen thuộc với thuật toán giảm độ dốc có thể tìm thấy mức tối thiểu (tối đa) cục bộ của một hàm nhất định.

Có bất kỳ sửa đổi nào về độ dốc gốc cho phép tìm tối thiểu tuyệt đối (tối đa), trong đó chức năng có một số điểm cực cục bộ?

Có bất kỳ kỹ thuật chung nào, làm thế nào để tăng cường một thuật toán có thể tìm thấy cực trị cục bộ, để tìm cực trị tuyệt đối?

ds.algorithms approximation-algorithms machine-learning

— Roman
nguồn

Bạn có thể muốn kiểm tra Xác thực chéo hoặc Hỏi & Đáp về AI được liên kết từ Câu hỏi thường gặp .

— Kaveh

Tôi nghĩ đó là một trong những nhược điểm của việc giảm độ dốc - nó có thể bị kẹt trong cực trị cục bộ. Các kỹ thuật khác như ủ mô phỏng có thể ít bị ảnh hưởng bởi điều này, nhưng vẫn không thể đảm bảo, theo những gì tôi hiểu.

— Joe

1

Tôi không chắc chắn "không gian đa chiều" phải làm gì với điều này. thậm chí một hàm để R có thể có nhiều extrema cục bộ mà tìm kiếm gradient sẽ gặp vấn đề.

— Suresh Venkat

Tôi khá chắc chắn có một định lý dọc theo các dòng rằng nếu hàm liên tục và được lấy mẫu ở đủ điểm, bạn có thể đảm bảo rằng độ dốc giảm dần sẽ tìm thấy mức tối thiểu toàn cầu bắt đầu tại một số điểm. tức là một cái gì đó dọc theo dòng thuật toán của powell. văn học quá rộng lớn đến nỗi một định lý như thế này có thể được xuất bản ở đâu đó, nhưng chưa từng nghe về nó. nó cũng chứng minh rằng tối ưu hóa cục bộ có thể đạt đến mức tối ưu toàn cầu theo đủ mẫu, khi việc lấy mẫu tăng lên.

— vzn

phần nào liên quan cũng thấy các bình luận ở đây lập luận mạnh mẽ rằng NN toàn cầu hoặc phương pháp số / phương pháp tiếp cận kiểu heuristic không phải là "thuật toán gần đúng"

— vzn

17

Tôi đoán bạn đang nói về giảm thiểu không ràng buộc. Câu hỏi của bạn nên chỉ định nếu bạn đang xem xét một cấu trúc vấn đề cụ thể. Nếu không, câu trả lời là không.

Đầu tiên tôi nên xua tan một huyền thoại. Phương pháp giảm độ dốc cổ điển (còn được gọi là phương pháp gốc dốc nhất ) thậm chí không được đảm bảo để tìm một bộ giảm thiểu cục bộ. Nó dừng lại khi nó đã tìm thấy một điểm tới hạn thứ nhất, tức là điểm mà độ dốc biến mất. Tùy thuộc vào chức năng cụ thể được tối thiểu hóa và điểm bắt đầu, bạn rất có thể kết thúc tại điểm yên ngựa hoặc thậm chí ở mức tối đa hóa toàn cầu!

$f(x,y) = x^2 - y^2$ $(x_0,y_0) := (1,0)$ $-\nabla f(1,0) = (-2,0)$ $(0,0)$ $f(x,y) = x^2 - 10^{-16} y^2$ $(0,0)$ $\nabla^2 f(x^*,y^*)$ $-10^{-16}$ $+10^{-16}$

f (x) = {\begin{cases} 1 & if x \leq 0 \\ \cos (x) & if 0 < x < π \\ - 1 & if x \geq π . \end{cases}

$f(x) = \begin{cases} 1 & \text{if } x \leq 0 \\ \cos(x) & \text{if } 0 < x < \pi \\ -1 & \text{if } x \geq \pi. \end{cases}$

$x_0 = -2$

Bây giờ hầu như tất cả các phương pháp tối ưu hóa dựa trên độ dốc đều phải chịu điều này bởi thiết kế. Câu hỏi của bạn thực sự là về tối ưu hóa toàn cầu . Một lần nữa, câu trả lời là không, không có công thức chung để sửa đổi một phương pháp để đảm bảo rằng một bộ thu nhỏ toàn cầu được xác định. Chỉ cần tự hỏi: nếu thuật toán trả về một giá trị và nói rằng đó là một công cụ thu nhỏ toàn cầu, làm thế nào bạn kiểm tra xem nó có đúng không?

Có các lớp phương pháp trong tối ưu hóa toàn cầu. Một số giới thiệu ngẫu nhiên. Một số sử dụng chiến lược đa khởi đầu. Một số khai thác cấu trúc của vấn đề, nhưng đó là cho các trường hợp đặc biệt. Chọn một cuốn sách về tối ưu hóa toàn cầu. Bạn sẽ thích nó cho mà xem.

— Thống lĩnh
nguồn

@Roman: Rất hoan nghênh.

— Dominique

3

Có lẽ không có câu trả lời nào phù hợp cho câu hỏi của bạn. Nhưng bạn có thể muốn xem xét các thuật toán ủ mô phỏng hoặc các phương pháp khác dựa trên phương pháp Markov chuỗi Monte Carlo (MCMC). Chúng cũng có thể được kết hợp với các phương thức cục bộ như giảm độ dốc.

— mours
nguồn

1

có nhiều tài liệu tham khảo về "tối ưu hóa toàn cầu của mạng lưới thần kinh". các kỹ thuật tương tự như ủ mô phỏng [xem câu trả lời khác]. ý tưởng cơ bản là khởi động lại độ dốc của mạng bắt đầu từ nhiều điểm bắt đầu trọng lượng khác nhau, được lấy mẫu ngẫu nhiên hoặc có hệ thống. mỗi kết quả của độ dốc giảm dần giống như một "mẫu". càng nhiều mẫu được lấy, xác suất cao hơn là một trong các mẫu là tối ưu toàn cầu, đặc biệt nếu hàm mục tiêu "hoạt động tốt" theo nghĩa liên tục, khác biệt, vân vân.

giới thiệu trực tuyến

[1] Tối ưu hóa toàn cầu về trọng lượng mạng thần kinh của Hamm và cộng sự

[2] Một cách tiếp cận tối ưu hóa toàn cầu để đào tạo mạng lưới thần kinh Voglis / Lagaris

[3] Đo đạc Artificial Neural Networks bởi Tối ưu hóa toàn cầu Pinter

[4] Tối ưu hóa toàn cầu các mạng thần kinh bằng cách sử dụng phương pháp lai xác định Beliakov

[5] Tối ưu hóa toàn cầu cho đào tạo mạng thần kinh Shang / Wah

— vzn
nguồn

1

Nói chung, rất khó để tối ưu hóa các hàm không biến đổi đa biến. Độ cứng có các hương vị khác nhau (mật mã, NP-hard). Một cách để thấy điều này là các mô hình hỗn hợp (như hỗn hợp của Guassian hoặc HMM) rất khó học, nhưng sẽ dễ dàng (*) nếu có thể tối đa hóa khả năng một cách hiệu quả. Để biết kết quả về độ cứng của việc học HMM, hãy xem http://alex.smola.org/journalclub/AbeWar92.pdf http://link.springer.com/ch CHƯƠNG / 10.1007% 2F3-540-45678-3_36 http: // www.math.ru.nl/~terwijn/publications/icgiFinal.pdf

(*) modulo các điều kiện thông thường của tính không phổ biến và nhận dạng

— Aryeh
nguồn

0

tôi phải không đồng ý với Dominique. nó đã được hajek chỉ ra vào giữa những năm 1980 rằng việc giải quyết một vấn đề không liên quan trong một số điều kiện nghiêm ngặt nhất định được đảm bảo đạt đến mức tối thiểu toàn cầu: http://dx.doi.org/10.1287/moor.13.2.311

— Gạch Aaron
nguồn

2

Trong các kết quả độ cứng được đề cập ở trên, những điều kiện đó thực sự phải khá nghiêm ngặt!

— Aryeh