Độ dốc gốc có thể được áp dụng cho các hàm không lồi?

Tôi chỉ đang tìm hiểu về tối ưu hóa và gặp khó khăn trong việc tìm hiểu sự khác biệt giữa tối ưu hóa lồi và không lồi. Theo hiểu biết của tôi, một hàm lồi là một trong đó "đoạn thẳng giữa hai điểm bất kỳ trên biểu đồ của hàm nằm ở trên hoặc trên biểu đồ". Trong trường hợp này, một thuật toán giảm độ dốc có thể được sử dụng, bởi vì có một mức tối thiểu duy nhất và các gradient sẽ luôn đưa bạn đến mức tối thiểu đó.

Tuy nhiên, những gì về chức năng trong hình này:

Ở đây, đoạn đường màu xanh cắt ngang bên dưới chức năng màu đỏ. Tuy nhiên, hàm vẫn có một mức tối thiểu duy nhất và do đó, độ dốc giảm dần sẽ đưa bạn đến mức tối thiểu này.

Vì vậy, câu hỏi của tôi là:

1) Hàm trong hình này có lồi hay không lồi?

2) Nếu nó không lồi thì các phương pháp tối ưu hóa lồi (giảm độ dốc) vẫn có thể được áp dụng?

Hàm bạn đã vẽ đồ thị thực sự không lồi. Tuy nhiên, nó là quasiconvex .

Gradient descent là một phương thức chung để tối ưu hóa liên tục, vì vậy nó có thể, và rất phổ biến, được áp dụng cho các hàm nonconvex. Với chức năng trơn tru và kích thước bước được chọn hợp lý, nó sẽ tạo ra một chuỗi các điểm$x_1, x_2, \ldots$ với các giá trị giảm nghiêm ngặt $f(x_1) > f(x_2) > \ldots$.

Gradient giảm dần cuối cùng sẽ hội tụ đến một điểm dừng của hàm, bất kể độ lồi. Nếu chức năng là lồi, đây sẽ là mức tối thiểu toàn cầu, nhưng nếu không, nó có thể là mức tối thiểu cục bộ hoặc thậm chí là điểm yên ngựa.

Hàm quasiconvex là một trường hợp thú vị. Bất kỳ mức tối thiểu cục bộ nào của hàm quasiconvex cũng là mức tối thiểu toàn cầu, nhưng hàm quasiconvex cũng có thể có các điểm dừng không phải là cực tiểu cục bộ (lấy$f(x) = x^3$ví dụ). Vì vậy, về mặt lý thuyết, việc giảm độ dốc có thể bị kẹt ở điểm dừng như vậy và không tiến tới mức tối thiểu toàn cầu. Trong ví dụ của bạn, nếu vai ở phía bên trái của biểu đồ hoàn toàn vượt trội, độ dốc giảm dần có thể bị kẹt ở đó. Tuy nhiên, các biến thể như phương pháp bóng nặng có thể có thể "lăn qua" và đạt đến mức tối thiểu toàn cầu.

Paul đã đề cập đến một điểm quan trọng:

• nếu f là lồi thì không có điểm yên ngựa và tất cả các cực tiểu địa phương cũng là toàn cầu. Do đó, GD (với một bước phù hợp) được đảm bảo để tìm một công cụ thu nhỏ toàn cầu.

Điều làm cho việc tối ưu hóa không lồi trở nên khó khăn là sự hiện diện của các điểm yên ngựa và cực tiểu cục bộ, trong đó độ dốc là (0, ..., 0) và có giá trị mục tiêu xấu tùy ý.

Việc tìm kiếm công cụ khai thác toàn cầu trong một cài đặt như vậy nói chung là NP-hard và thay vào đó, người ta giải quyết mục tiêu tìm kiếm một công cụ thu nhỏ cục bộ.

Tuy nhiên, lưu ý rằng:

• Xác suất của GD bị kẹt ở yên xe thực sự là 0 ( xem tại đây ).
• Tuy nhiên, sự hiện diện của các điểm yên ngựa có thể làm chậm quá trình GD xuống vì các hướng có độ cong thấp được khai thác quá chậm ( xem tại đây )

Tùy thuộc vào chiều hướng của vấn đề của bạn, do đó có thể nên thực hiện thói quen tối ưu hóa bậc hai.