Tại sao luôn có ít nhất một chính sách tốt hơn hoặc bằng tất cả các chính sách khác?

Học tăng cường: Giới thiệu. Phiên bản thứ hai, đang được tiến hành ., Richard S. Sutton và Andrew G. Barto (c) 2012, trang 67-68.

Giải quyết một nhiệm vụ học tập củng cố có nghĩa là, đại khái, tìm ra một chính sách đạt được rất nhiều phần thưởng trong thời gian dài. Đối với MDP hữu hạn, chúng tôi có thể xác định chính xác một chính sách tối ưu theo cách sau. Các hàm giá trị xác định một thứ tự một phần trên các chính sách. Một chính sách $\pi$ được định nghĩa là tốt hơn hơn hoặc tương đương với một chính sách $\pi'$ nếu lợi nhuận kỳ vọng của nó là lớn hơn hoặc bằng với của $\pi'$ , cho tất cả các quốc gia. Nói cách khác, $\pi \geq \pi'$ khi và chỉ khi $v_\pi(s) \geq v_{\pi'}(s)$ , cho tất cả $s \in \mathcal{S}$ . Luôn có ít nhất một chính sách tốt hơn hoặc bằng tất cả các chính sách khác. Đây là một chính sách tối ưu.

Tại sao luôn có ít nhất một chính sách tốt hơn hoặc bằng tất cả các chính sách khác?

Chỉ cần vượt qua phần trích dẫn, cùng một đoạn thực sự cho bạn biết chính sách này là gì: đó là chính sách có hành động tốt nhất ở mọi tiểu bang. Trong MDP, hành động chúng ta thực hiện ở một trạng thái không ảnh hưởng đến phần thưởng cho các hành động được thực hiện ở người khác, vì vậy chúng ta chỉ có thể tối đa hóa chính sách theo từng tiểu bang.

Sự tồn tại của một chính sách tối ưu là không rõ ràng. Để xem tại sao, lưu ý rằng hàm giá trị chỉ cung cấp một thứ tự một phần trên không gian của các chính sách. Điều này có nghĩa là:

$$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$$

Vì đây chỉ là một trật tự một phần, có thể là một trường hợp hai chính sách, và π 2 , không thể so sánh. Nói cách khác, có các tập hợp con của không gian trạng thái, S 1 và S 2 sao cho:$\pi_1$$\pi_2$$S_1$$S_2$

$$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$$

$$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$$

Trong trường hợp này, chúng tôi không thể nói rằng một chính sách tốt hơn chính sách kia. Nhưng nếu chúng ta đang xử lý các MDP hữu hạn với các hàm giá trị giới hạn, thì một kịch bản như vậy không bao giờ xảy ra. Có chính xác một hàm giá trị tối ưu, mặc dù có thể có nhiều chính sách tối ưu.

Để chứng minh điều này, bạn cần hiểu định lý Banach Fixed Point. Để phân tích chi tiết, xin vui lòng tham khảo .

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

Cài đặt

Chúng tôi đang xem xét trong cài đặt:

• Hành động rời rạc
• Các trạng thái rời rạc
• Phần thưởng giới hạn
• Chính sách văn phòng phẩm
• Chân trời vô tận

Các chính sách tối ưu được định nghĩa là: và chức năng giá trị tối ưu là: V * = max π V π ( s ) , ∀ s ∈ S Có thể có một bộ của các chính sách đạt được tối đa. Nhưng chỉ có một chức năng giá trị tối ưu: V * = V π

$$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$$ $$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$$ $$V^\ast = V^{\pi^\ast} \tag{3}$$

Câu hỏi

Làm thế nào để chứng minh rằng có tồn tại ít nhất một mà thỏa mãn (1) đồng thời cho tất cả s ∈ S ?$\pi^\ast$$s \in \mc{S}$

Đề cương chứng minh

1. Xây dựng phương trình tối ưu được sử dụng như một định nghĩa thay thế tạm thời của hàm giá trị tối ưu, chúng ta sẽ chứng minh ở bước 2 rằng nó tương đương với định nghĩa thông qua phương trình (2).

   $$V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$$

2. Suy ra tính tương đương của việc xác định hàm giá trị tối ưu thông qua phương trình (4) và qua phương trình (2).

   (Lưu ý trong thực tế, chúng ta chỉ cần hướng cần thiết trong bằng chứng, bởi vì sự đầy đủ là hiển nhiên vì chúng ta đã xây dựng phương trình (4) từ phương trình (2).)

3. Chứng minh rằng có một giải pháp duy nhất cho phương trình (4).

4. Ở bước 2, chúng ta biết rằng giải pháp thu được ở bước 3 cũng là một giải pháp cho phương trình (2), vì vậy đây là một hàm giá trị tối ưu.

5. Từ hàm giá trị tối ưu, chúng ta có thể khôi phục chính sách tối ưu bằng cách chọn hành động tối đa hóa trong biểu thức (4) cho mỗi trạng thái.

Chi tiết các bước

1

Kể từ khi , chúng ta có V π * ( s ) ≤ max một ∈ A Q π * ( s , một ) . Và nếu có bất kỳ ~ s mà V π * ≠ max một $V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$$V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$$\tilde{s}$, chúng ta có thể chọn một chính sách tốt hơn bằng cách tối đa hóaQ * (s,một)=Q π * (s,một)trênmột.$V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$$Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$$a$

2

(=>)

Theo bước 1.

(<=)

ví dụ: Nếu thỏa mãn ~ V ( s ) = max một ∈ A [ R ( s , một ) + $\tilde V$ , sau đó ~ V ( s ) = V * ( s ) = max π V π ( s ) , ∀ s ∈ S .$\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$$\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$

Xác định Bellman điều hành tối ưu như

$$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$$ $\tilde V = \mc T \tilde V$$\tilde V = V^\ast$

$\tilde V \ge \mc T \tilde V$, then $\tilde V \ge V^\ast$.

b) If $\tilde V \le \mc T \tilde V$, then $\tilde V \le V^\ast$.

Proof:

a)

For any $\pi = (d_1, d_2, ...)$,

$$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$$ Here $d$ is the decision rule(action profile at specific time), $R_d$ is the vector representation of immediate reward induced from $d$ and $P_d$ is transition matrix induced from $d$.

By induction, for any $n$,

$$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$$ where $P_\pi^j$ represents the $j$-step transition matrix under $\pi$.

Since

$$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$$ we have $$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$$ So we have $\tilde V \ge V^\pi$. And since this holds for any $\pi$, we conclude that $$\tilde V \ge \max_\pi V^\pi = V^\ast$$ b)

Follows from step 1.

3

The optimal Bellman operator is a contraction in $L_\infty$ norm, cf. [2].

Proof: For any $s$,

$$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$$ where in (*) we used the fact that $$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$$

Thus by Banach fixed point theorum it follows that $\mc T$ has a unique fixed point.

References

[1] Puterman, Martin L.. “Markov Decision Processes : Discrete Stochastic Dynamic Programming.” (2016).

[2] A. Lazaric. http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

The policy $a=\pi(s)$ gives the best action $a$ to execute in state $s$ according to policy $\pi$, i.e. the value function $v_\pi(s)=\max_{a \in A} q_\pi (s,a)$ is highest for action $a$ in state $s$.

There is always at least one policy that is better than or equal to all other policies.

Thus there is always a policy $\pi_*$ which gives equal or higher expected rewards than policy $\pi$. Note that this implies that $\pi$ could be an/the optimal policy ($\pi_*$) itself.