Nhầm lẫn về quy tắc Armijo

Tôi có sự nhầm lẫn này về quy tắc Armijo được sử dụng trong tìm kiếm dòng. Tôi đã đọc lại tìm kiếm dòng theo dõi nhưng không hiểu quy tắc Armijo này là gì. Bất cứ ai cũng có thể xây dựng quy tắc Armijo là gì? Các wikipedia dường như không giải thích tốt. Cảm ơn

optimization

— người dùng34790
nguồn

Điều gì xảy ra nếu trong phương trình biến x không phải là vectơ mà là ma trận? Nên cập nhật quy tắc Armijo như thế nào?

— Frank Puk

không có gì thay đổi. bạn chỉ cần định hình lại -matrix của bạn thành một vectơ (cột) .

X_{k}

$X_k$

x_{k}

$x_k$

— GoHokies

Đó là nơi tôi bị mắc kẹt. Khi trở thành ma trận, giá trị ở phía bên trái ( ) vẫn là một vô hướng. Nhưng giá trị ở phía bên tay phải không phải - thay vào đó, đó là một ma trận ( là một vô hướng và là một ma trận.)

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— Frank Puk

bạn sẽ cần phải làm việc với một vectơ, không phải ma trận. do đó, bạn định hình lại ma trận của các biến điều khiển (tôi đã ký hiệu nó bằng ) thành một vectơ với phần tử. Hướng tìm kiếm và độ dốc cũng sẽ là các vectơ có phần tử. bằng cách này, cả RHS và LHS của điều kiện Armijo đều là vô hướng và có thể so sánh được.

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

— GoHokies

Câu trả lời:

Khi bạn có được hướng gốc cho hàm mục tiêu , bạn cần chọn độ dài bước "tốt". Bạn không muốn thực hiện một bước quá lớn để chức năng tại điểm mới của bạn lớn hơn điểm hiện tại của bạn. Đồng thời, bạn không muốn làm cho bước của mình quá nhỏ để mất thời gian để hội tụ. $p$ $f(x)$

Điều kiện của Armijo về cơ bản gợi ý rằng độ dài bước "tốt" là như vậy bạn có "giảm đủ" trong tại điểm mới của bạn. Tình trạng này có toán học tuyên bố như nơi là một hướng gốc tại và . $f$

f (x_{k} + α p_{k}) \leq f (x_{k}) + β α \nabla f (x_{k})^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

Trực giác đằng sau điều này là giá trị hàm tại điểm mới phải nằm dưới "đường tiếp tuyến" giảm tại theo hướng . Xem cuốn sách "Tối ưu hóa số" của Nocedal & Wright. Trong chương 3, có một mô tả đồ họa tuyệt vời về tình trạng giảm đủ của armijo. $f(x_k+\alpha p_k)$ $x_k$ $p_k$

— Paul
nguồn

Thay vì nghĩ về nó như một đường tiếp tuyến, bạn cũng có thể nghĩ về nó như là bản mở rộng đầu tiên của Taylor. Trong trường hợp này

chỉ đảm bảo rằng đó là một bước kích thước

tồn tại.

β

$\beta$

α

$\alpha$

— cjordan1

Lý do điều này hoàn toàn quan trọng, tức là tại sao một bước "tốt" là cần thiết, là vì nhiều sơ đồ tối ưu hóa sẽ hội tụ chậm hơn, như Paul nói, hoặc có thể không hội tụ chút nào. Vì vậy, tìm kiếm dòng - có nhiều loại, Armijo là phổ biến nhất - có thể được sử dụng để cung cấp cho các thuật toán các thuộc tính hội tụ mạnh mẽ hơn.

— cjordan1

Paul: lời giải thích của bạn không đầy đủ. Chỉ riêng sự bất bình đẳng này không đảm bảo mức giảm 'đủ'. Trên thực tế, bạn có thể có alpha = 0 và vẫn thỏa mãn bất đẳng thức mà bạn đã viết. Một tính năng quan trọng là quy tắc Armijo là giới hạn kích thước bước đi từ 0, được thực hiện bởi một bất đẳng thức khác: f (gamma * x_new) -f (x_old)> beta * (gamma * x_new-x_old) ^ T * grad (f (x_old))

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

Năm năm sau, câu hỏi này vẫn còn hiệu lực.

Tại đây (trang 16 và 17) bạn có thể tìm thấy một lời giải thích tuyệt vời, bao gồm cả Thuật toán.

— Bojan Hrnkas
nguồn