Hàm Q là gì và hàm V trong học tăng cường là gì?

30

Dường như với tôi rằng chức năng $V$ có thể dễ dàng được biểu thị bằng chức năng $Q$ và do đó chức năng $V$ dường như là thừa đối với tôi. Tuy nhiên, tôi chưa quen với việc học tăng cường nên tôi đoán mình đã nhầm.

Định nghĩa

Q- và V-learning nằm trong bối cảnh Quy trình Quyết định của Markov . Một MDP là một 5-tuple $(S, A, P, R, \gamma)$ với

$S$ là tập hợp các trạng thái (thường là hữu hạn)
$A$ là một tập hợp các hành động (thường là hữu hạn)
$P(s, s', a) = P(s_{t+1} = s' | s_t = s, a_t = a)$ là xác suất để có được từ nhà nước $s$ nhà nước $s'$ với hành động $a$ .
$R(s, s', a) \in \mathbb{R}$ là phần thưởng ngay lập tức sau khi đi từ trạng thái $s$ sang trạng thái $s'$ với hành động $a$ . (Dường như với tôi rằng thường chỉ $s'$ vấn đề).
$\gamma \in [0, 1]$ được gọi là yếu tố giảm giá và xác định nếu một tập trung vào những phần thưởng ngay lập tức ( $\gamma = 0$ ), tổng phần thưởng ( $\gamma = 1$ ) hoặc một số trade-off.

Một chính sách $\pi$ , theo Học tăng cường: Giới thiệu của Sutton và Barto là một hàm $\pi: S \rightarrow A$ (điều này có thể là xác suất).

Theo slide Mario Martins , các $V$ chức năng là

V^{π} (s) = E_{π} {R_{t} | s_{t} = s} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s}

$V^\pi(s) = E_\pi \{R_t | s_t = s\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s\}$ và hàm

là

Q^{π} (s, a) = E_{π} {R_{t} | s_{t} = s, a_{t} = a} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{R_t | s_t = s, a_t = a\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s, a_t=a\}$

Suy nghĩ của tôi

Các $V$ bang chức năng gì tổng giá trị dự kiến (không thưởng!) Của một quốc gia $s$ theo chính sách $\pi$ là.

Hàm cho biết giá trị của trạng thái và hành động theo chính sách là gì. $Q$ $s$ $a$ $\pi$

Điều này có nghĩa là,

Q^{π} (s, π (s)) = V^{π} (s)

$Q^\pi(s, \pi(s)) = V^\pi(s)$

Đúng? Vậy tại sao chúng ta có hàm giá trị? (Tôi đoán tôi đã trộn lẫn một cái gì đó)

machine-learning reinforcement-learning

— Martin Thoma
nguồn

15

Giá trị Q là một cách tuyệt vời để thực hiện các hành động rõ ràng để bạn có thể xử lý các vấn đề trong đó chức năng chuyển đổi không khả dụng (không có mô hình). Tuy nhiên, khi không gian hành động của bạn lớn, mọi thứ không được tốt và giá trị Q không thuận tiện. Hãy nghĩ về một số lượng lớn các hành động hoặc thậm chí không gian hành động liên tục.

Từ góc độ lấy mẫu, tính chiều của $Q(s, a)$ cao hơn $V(s)$ nên có thể khó lấy đủ $(s, a)$ mẫu so với $(s)$ . Nếu bạn có quyền truy cập vào chức năng chuyển đổi đôi khi $V$ là tốt.

Ngoài ra còn có những cách sử dụng khác mà cả hai được kết hợp. Chẳng hạn, hàm lợi thế trong đó $A(s, a) = Q(s, a) - V(s)$ . Nếu bạn quan tâm, bạn có thể tìm thấy một ví dụ gần đây bằng cách sử dụng các hàm lợi thế tại đây:

Kiến trúc mạng Dueling cho học tập tăng cường sâu

của Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot và Nando de Freitas.

— Juan Leni
nguồn

19

$V^\pi(s)$ là hàm giá trị trạng thái của MDP (Quy trình quyết định Markov). Đó là lợi nhuận kỳ vọng bắt đầu từ trạng thái $s$ chính sách sau đây $\pi$ .

Trong biểu thức

V^{π} (s) = E_{π} {G_{t} | s_{t} = s}

$V^\pi(s) = E_\pi \{G_t | s_t = s\}$

$G_t$ là tổng phần thưởng GIẢM GIÁ từ thời điểm $t$ , trái ngược với $R_t$ là tiền lãi ngay lập tức. Ở đây bạn đang thực hiện kỳ vọng TẤT CẢ các hành động theo chính sách $\pi$ .

$Q^\pi(s, a)$ là hàm giá trị hành động. Đó là lợi nhuận kỳ vọng bắt đầu từ trạng thái $s$ , theo chính sách $\pi$ , thực hiện hành động $a$ . Đó là tập trung vào hành động cụ thể ở trạng thái cụ thể.

Q^{π} (s, a) = E_{π} {G_{t} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{G_t | s_t = s, a_t = a\}$

Mối quan hệ giữa $Q^\pi$ và $V^\pi$ (giá trị của trạng thái đó) là

V^{π} (s) = \sum_{a \in A} π (a | s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a ∈ A} \pi (a|s) * Q^\pi(a,s)$

Bạn tính tổng mọi giá trị hành động nhân với xác suất để thực hiện hành động đó (chính sách $\pi(a|s)$ ).

Nếu bạn nghĩ về ví dụ thế giới lưới, bạn nhân xác suất của (lên / xuống / phải / trái) với giá trị trạng thái trước một bước là (lên / xuống / phải / trái).

— Aaron
nguồn

5

Đây là câu trả lời ngắn gọn nhất.

— Brett

V^{π} (s) = max_{a \in A} Q^{π} (s, a)

$V^\pi(s) = \max_{a \in A} Q^\pi(s, a)$

V^{π} (s) = \sum_{a \in A} π (a ∣ s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a \in A} \pi (a \mid s) * Q^\pi(a, s)$

V

$V$

Q

$Q$

V

$V$

Q

$Q$

@nbro Tôi tin rằng nó phụ thuộc vào loại chính sách bạn đang theo dõi. Trong một chính sách tham lam thuần túy, bạn là chính xác. Nhưng nếu đó là một chính sách thăm dò hơn, được xây dựng để quyết định một cách ngẫu nhiên một hành động, thì điều trên sẽ đúng

— deltaskelta

7

Bạn có quyền, hàm cung cấp cho bạn giá trị của trạng thái và cung cấp cho bạn giá trị của một hành động ở trạng thái (tuân theo chính sách đã cho ). Tôi đã tìm thấy lời giải thích rõ ràng nhất về Q-learning và cách nó hoạt động trong cuốn sách "Machine Learning" của Tom Mitchell (1997), ch. 13, có thể tải xuống. được định nghĩa là tổng của một chuỗi vô hạn nhưng nó không quan trọng ở đây. Vấn đề là hàm được định nghĩa là $V$ $Q$ $\pi$ $V$ $Q$

Q (s, a) = r (s, a) + γ V^{*} (δ (s, a))

$Q(s,a ) = r(s,a ) + \gamma V^{*}(\delta(s,a))$ trong đó V * là giá trị tốt nhất của trạng thái nếu bạn có thể tuân theo chính sách tối ưu mà bạn không cho Tôi không biết. Tuy nhiên, nó có một đặc tính tốt về mặt Tính toán được thực hiện bằng cách thay thế trong phương trình đầu tiên để cung cấp

Q

$Q$

V^{*} (s) = max_{a^{'}} Q (s, a^{'})

$V^{*}(s)= \max_{a'} Q(s,a')$

Q

$Q$

V^{*}

$V^*$

Q (s, a) = r (s, a) + γ max_{a^{'}} Q (δ (s, a), a^{'})

$Q(s, a) = r(s, a) + \gamma \max_{a'} Q(\delta(s, a), a')$

Lúc đầu, điều này có vẻ như là một đệ quy kỳ lạ vì nó biểu thị giá trị Q của một hành động ở trạng thái hiện tại theo giá trị Q tốt nhất của trạng thái kế , nhưng nó có ý nghĩa khi bạn xem cách quá trình sao lưu sử dụng nó: quá trình dừng lại khi đạt đến trạng thái mục tiêu và thu thập phần thưởng, trở thành giá trị Q của quá trình chuyển đổi cuối cùng. Bây giờ trong tập huấn luyện tiếp theo, khi quá trình thăm dò đạt đến trạng thái tiền thân đó, quá trình sao lưu sử dụng đẳng thức trên để cập nhật giá trị Q hiện tại của trạng thái tiền thân. Tiếp theo thời gian của mìnhngười tiền nhiệm được truy cập giá trị Q của trạng thái được cập nhật, và cứ thế quay ngược dòng (cuốn sách của Mitchell mô tả một cách hiệu quả hơn để làm điều này bằng cách lưu trữ tất cả các tính toán và phát lại chúng sau). Với điều kiện mọi trạng thái được truy cập vô hạn thường xuyên, quá trình này cuối cùng sẽ tính Q tối ưu

Đôi khi bạn sẽ thấy tốc độ học tập được áp dụng để kiểm soát lượng Q thực sự được cập nhật: Lưu ý rằng việc cập nhật giá trị Q không phụ thuộc vào giá trị Q hiện tại. Cuốn sách của Mitchell cũng giải thích lý do tại sao và đó là lý do tại sao bạn cần : cuốn sách dành cho MDP ngẫu nhiên. Nếu không có , mỗi khi một trạng thái, cặp hành động được thử sẽ có một phần thưởng khác nhau để hàm Q ^ sẽ nảy khắp nơi và không hội tụ. ở đó để kiến thức mới chỉ được chấp nhận một phần. $\alpha$

Q (s, a) = (1 - α) Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}))

$Q(s, a) = (1-\alpha)Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a'))$

= Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}) - Q (s, a))

$= Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a') - Q(s,a))$

α

$\alpha$

α

$\alpha$

α

$\alpha$

α

$\alpha$ được đặt ở mức cao để các giá trị hiện tại (chủ yếu là ngẫu nhiên) của Q ít ảnh hưởng hơn. bị giảm khi quá trình đào tạo tiến triển, do đó các cập nhật mới ngày càng ít ảnh hưởng hơn và giờ đây, việc học Q hội tụ

α

$\alpha$

— SN
nguồn

0

Dưới đây là một lời giải thích chi tiết hơn về mối quan hệ giữa giá trị nhà nước và giá trị hành động trong câu trả lời của Aaron. Trước tiên chúng ta hãy xem định nghĩa của hàm giá trị và hàm giá trị hành động theo chính sách : trong đó là lợi nhuận tại thời điểm . Mối quan hệ giữa hai hàm giá trị này có thể được suy ra là $\pi$

\begin{aligned} v_{π} (s) = E [G_{t} | S_{t} = s] \\ q_{π} (s, a) = E [G_{t} | S_{t} = s, A_{t} = a] \end{aligned}

$\begin{align} &v_{\pi}(s)=E{\left[G_t|S_t=s\right]} \\ &q_{\pi}(s,a)=E{\left[G_t|S_t=s, A_t=a\right]} \end{align}$

G_{t} = \sum_{k = 0}^{\infty} γ^{k} R_{t + k + 1}

$G_t=\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}$

t

$t$

\begin{aligned} v_{π} (s) & = E [G_{t} | S_{t} = s] \\ = \sum_{g_{t}} p (g_{t} | S_{t} = s) g_{t} \\ = \sum_{g_{t}} \sum_{a} p (g_{t}, a | S_{t} = s) g_{t} \\ = \sum_{a} p (a | S_{t} = s) \sum_{g_{t}} p (g_{t} | S_{t} = s, A_{t} = a) g_{t} \\ = \sum_{a} p (a | S_{t} = s) E [G_{t} | S_{t} = s, A_{t} = a] \\ = \sum_{a} p (a | S_{t} = s) q_{π} (s, a) \end{aligned}

$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=\sum_{g_t} p(g_t|S_t=s)g_t \nonumber \\ &= \sum_{g_t}\sum_{a}p(g_t, a|S_t=s)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)\sum_{g_t}p(g_t|S_t=s, A_t=a)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)E{\left[G_t|S_t=s, A_t=a\right]} \nonumber \\ &= \sum_{a}p(a|S_t=s)q_{\pi}(s,a) \end{align}$ Phương trình trên rất quan trọng. Nó mô tả mối quan hệ giữa hai hàm giá trị cơ bản trong học tập củng cố. Nó là hợp lệ cho bất kỳ chính sách. Hơn nữa, nếu chúng ta có chính sách xác định , thì . Hy vọng điều này là hữu ích cho bạn. (để xem thêm về phương trình tối ưu Bellman https: //stats.stackexchange.

v_{π} (s) = q_{π} (s, π (s))

$v_{\pi}(s)=q_{\pi}(s,\pi(s))$ )

— Kiệt Shi
nguồn

0

Hàm giá trị là một công thức trừu tượng của tiện ích. Và hàm Q được sử dụng cho thuật toán Q-learning.

— emmanuel
nguồn

Đối với bối cảnh của câu hỏi này, và là khác nhau.

V

$V$

Q

$Q$

— Siong Thye Goh