Giảm dần độ dốc và giảm dần độ dốc

Đối với một dự án, tôi phải thực hiện hai phương thức này và so sánh cách chúng thực hiện trên các chức năng khác nhau.

Có vẻ như phương pháp gradient liên hợp có nghĩa là để giải các hệ phương trình tuyến tính của

$$A\mathbf{x} = \mathbf{b}$$

Trong đó $A$ là ma trận n-by-n đối xứng, xác định dương và thực.

Mặt khác, khi tôi đọc về độ dốc giảm dần, tôi thấy ví dụ về hàm Rosenbrock , đó là

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

Như tôi thấy, tôi không thể giải quyết điều này bằng phương pháp gradient liên hợp. Hay tôi bỏ lỡ điều gì?

Giảm dần và phương pháp gradient liên hợp là cả hai thuật toán để giảm thiểu các hàm phi tuyến, nghĩa là các hàm như hàm Rosenbrock

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

hoặc một hàm bậc hai đa biến (trong trường hợp này có thuật ngữ bậc hai đối xứng)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

$x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

Cả hai phương thức đều bắt đầu từ một phỏng đoán ban đầu, , và sau đó tính toán lần lặp tiếp theo bằng cách sử dụng hàm của biểu mẫu$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

Nói cách khác, giá trị tiếp theo của được tìm thấy bằng cách bắt đầu tại vị trí hiện tại và di chuyển theo hướng tìm kiếm trong một khoảng cách . Trong cả hai phương pháp, khoảng cách để di chuyển có thể được tìm thấy bằng tìm kiếm dòng (thu nhỏ trên ). Các tiêu chí khác cũng có thể được áp dụng. Trường hợp hai phương pháp khác nhau là sự lựa chọn của họ về . Đối với phương thức gradient, . Đối với phương pháp gradient liên hợp, thủ tục Grahm-Schmidt được sử dụng để trực giao các vectơ gradient. Cụ thể, , nhưng sau đó bằng$x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ trừ đi phép chiếu của vectơ lên sao cho . Mỗi vectơ gradient tiếp theo được trực giao với tất cả các vectơ trước đó, dẫn đến các thuộc tính rất đẹp cho hàm bậc hai ở trên.$d^0$$(d^1)^Td^0 = 0$

Hàm bậc hai ở trên (và các công thức liên quan) cũng là nơi thảo luận về việc giải bằng phương pháp gradient liên hợp xuất phát từ đó, vì mức tối thiểu của đạt được tại điểm trong đó .$Ax = b$$f(x)$$x$$Ax = b$

Trong ngữ cảnh này, cả hai phương thức có thể được coi là các vấn đề tối thiểu hóa của hàm: Khi đối xứng, thì được thu nhỏ khi .

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

Gradient giảm dần là phương pháp lặp đi lặp lại tìm kiếm một bộ giảm thiểu bằng cách nhìn theo hướng gradient. Độ dốc liên hợp tương tự nhau, nhưng các hướng tìm kiếm cũng được yêu cầu phải trực giao với nhau theo nghĩa .$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$