Các điều kiện hội tụ thuật toán lặp chính sách và giá trị

8

Các thuật toán lặp chính sách và giá trị có thể được sử dụng để giải quyết các vấn đề về quy trình quyết định của Markov. Tôi có một thời gian khó hiểu với các điều kiện cần thiết để hội tụ. Nếu chính sách tối ưu không thay đổi trong hai bước (tức là trong các lần lặp i và i + 1 ), liệu có thể kết luận rằng các thuật toán đã hội tụ không? Nếu không thì khi nào?

algorithms markov-process convergence

— ELEC
nguồn

3

Để trả lời câu hỏi của bạn, trước tiên hãy để tôi viết ra một số đẳng thức quan trọng (trong).

Phương trình tối ưu Bellman:

$\begin{aligned} v_{*} (s) & = max_{a} E [R_{t + 1} + γ v_{*} (S_{t + 1}) ∣ S_{t} = s, A_{t} = a] \\ = max_{a} \sum_{s^{'}} p (s^{'} ∣ s, a) [r (s, a, s^{'}) + γ v_{*} (s^{'})] \end{aligned}$ $\begin{align} v_∗(s) &= \max_{a} \mathbb{E}[R_{t+1} + \gamma v_* (S_{t+1}) \mid S_t =s, A_t =a] \\ &= \max_{a} \sum_{s'}p(s'\mid s, a) \biggl[r(s, a, s') + \gamma v_∗(s')\biggl] \end{align}$
trong đó $v_*(.)$ là hàm giá trị tối ưu.

Định lý cải tiến chính sách ( Hố ):

Đặt và là bất kỳ cặp chính sách xác định nào sao cho tất cả , Sau đó chính sách phải tốt như, hoặc tốt hơn, . Nghĩa là, nó phải thu được lợi nhuận kỳ vọng lớn hơn hoặc bằng nhau từ tất cả các trạng thái . $\pi$ $\pi'$ $s \in S$ $q_\pi(s, \pi'(s)) \geq v_\pi(s)$ $\pi'$ $\pi$ $s \in S: v_{\pi'} (s) \geq v_\pi(s)$

(tìm trên trang 89 của Sutton & Barto, Học tăng cường: Sách giới thiệu )

Chúng tôi có thể cải thiện chính sách ở mọi tiểu bang theo quy tắc sau: $\pi$

\begin{aligned} π^{'} (s) & = \arg max_{a} q_{π} (s, a) \\ = \arg max_{a} \sum_{s^{'}} p (s^{'} ∣ s, a) [r (s, a, s^{'}) + γ v_{π} (s^{'})] \end{aligned}

$\begin{align} \pi'(s) &= \arg \max_{a}q_π(s, a)\\ &= \arg \max_{a} \sum_{s'}p(s' \mid s, a)\biggl[r(s, a, s') + \gamma v_\pi(s')\biggl] \end{align}$

Chính sách mới của chúng tôi thỏa mãn điều kiện của Pit và do đó tốt như hoặc tốt hơn . Nếu tốt như, nhưng không tốt hơn , thì cho tất cả . Từ định nghĩa của chúng tôi về chúng tôi suy luận rằng: $\pi'$ $\pi$ $\pi'$ $\pi$ $v_{\pi'}(s)=v_{\pi}(s)$ $s$ $\pi'$

\begin{aligned} v_{π^{'}} (s) & = max_{a} E [R_{t + 1} + γ v_{π^{'}} (S_{t + 1}) ∣ S_{t} = s, A_{t} = a] \\ = max_{a} \sum_{s^{'}} p (s^{'} ∣ s, a) [r (s, a, s^{'}) + γ v_{π^{'}} (s^{'})] \end{aligned}

$\begin{align} v_{\pi'}(s)&=\max_{a} \mathbb{E}\biggl[R_{t+1} + \gamma v_{ \pi'}(S_{t+1}) \mid S_t =s, A_t =a \biggl]\\ &= \max_{a}\sum_{s'}p(s' \mid s, a) \biggl[r(s, a, s') + \gamma v_{π'}(s') \biggl] \end{align}$

Nhưng đẳng thức này giống như phương trình tối ưu Bellman nên phải bằng . $v_{\pi'}$ $v_*$

Từ những điều đã nói ở trên, hy vọng rõ ràng rằng, nếu chúng ta cải thiện một chính sách và có cùng chức năng giá trị, mà chúng ta đã có trước đây, chính sách mới phải là một trong những chính sách tối ưu. Để biết thêm thông tin, xem Sutton & Barto (2012)

— Jan Vainer
nguồn

1

Bạn đã đúng: ước tính hàm giá trị hiện tại hoặc ước tính chính sách hiện tại hoàn toàn có thể mô tả trạng thái của thuật toán. Mỗi người ngụ ý một lựa chọn tiếp theo duy nhất cho người khác. Từ bài báo được liên kết dưới đây,

"Lặp lại chính sách tiếp tục cho đến khi ." $V_{n+1} = V_n, α_{n+1} = α_n$

https://editorialexpress.com/jrust/research/siam_dp_apers.pdf

— eric_kernfeld
nguồn