Sự khác biệt giữa ủ mô phỏng và đa tham lam

Tôi đang cố gắng hiểu sự khác biệt giữa ủ mô phỏng và chạy nhiều thuật toán leo đồi tham lam.

Theo hiểu biết của tôi, thuật toán tham lam sẽ đẩy điểm đến mức tối đa cục bộ, nhưng nếu chúng ta bắt đầu với nhiều cấu hình ngẫu nhiên và áp dụng tham lam cho tất cả chúng, chúng ta sẽ có nhiều mức tối đa cục bộ. Sau đó, chúng tôi chọn tối đa của họ.

Điều này sẽ tái tạo giống như ủ mô phỏng?

machine-learning optimization algorithms

— Bernardo Braga
nguồn

Phương pháp bạn mô tả được gọi là leo đồi khởi động lại ngẫu nhiên (hoặc đôi khi là leo đồi shotgun ) và đó là một thuật toán khác với mô phỏng ủ.

Có, nói chung khi số lần lặp tăng lên, cả hai phương thức cuối cùng sẽ đưa ra một vị trí đạt đến mức tối ưu toàn cầu . Điều này là vì lý do đơn giản là cả hai kết hợp tìm kiếm ngẫu nhiên. Đó là, khởi động lại ngẫu nhiên (leo đồi) hoặc di chuyển ngẫu nhiên (ủ mô phỏng) có thể trùng với tối ưu toàn cầu. Tuy nhiên, đây là hai sự khác biệt quan trọng: $k$ $w_i$ $w^*$

khởi động lại ngẫu nhiên leo đồi luôn di chuyển đến một vị trí ngẫu nhiên sau một số lần lặp cố định . Trong ủ mô phỏng, di chuyển đến vị trí ngẫu nhiên phụ thuộc vào nhiệt độ . $w_i$ $k$ $T$
ngẫu nhiên khởi động lại leo đồi sẽ di chuyển đến vị trí tốt nhất trong khu phố trong giai đoạn leo núi. Trong mô phỏng ủ, vị trí được chọn ngẫu nhiên, bạn luôn di chuyển nếu nó tốt hơn vị trí hiện tại của bạn nhưng với một số xác suất liên quan đến bạn có thể di chuyển ngay cả khi nó tệ hơn. $T$

Ủ mô phỏng là một thuật toán phức tạp hơn một chút và phụ thuộc vào lịch nhiệt độ xác định tại lần lặp . Nếu nhiệt độ được đặt thành một giá trị không đổi rất nhỏ thì quá trình ủ mô phỏng sẽ giống như leo đồi ngẫu nhiên. Nếu được đặt thành giá trị không đổi rất lớn, thì quá trình ủ mô phỏng sẽ giống như tìm kiếm ngẫu nhiên. Cách bạn chọn lịch nhiệt độ xác định cách bạn điều hướng giữa hai loại hành vi khác nhau này. $T$ $k$ $T$ $T$

tldr: đây là các thuật toán khác nhau, nhưng chúng sử dụng các ý tưởng tương tự để kết hợp lấy mẫu ngẫu nhiên vào tìm kiếm.

— MáyEpsilon
nguồn

Sự khác biệt chính (trong chiến lược) giữa tìm kiếm tham lam và ủ mô phỏng là tìm kiếm tham lam sẽ luôn chọn đề xuất tốt nhất, trong đó ủ giả mô phỏng có xác suất (sử dụng phân phối Boltzman) từ chối điều này và chọn đề xuất tồi tệ hơn. Điều này giúp thuật toán tìm ra tối ưu toàn cầu bằng cách nhảy ra khỏi tối ưu cục bộ. Nhiệt độ và các thông số khác chỉ là lợi thế thứ cấp (hoặc nhược điểm) của SA.

— Jon