Làm cách nào để khớp trọng số vào các giá trị Q với xấp xỉ hàm tuyến tính

Trong học tăng cường, xấp xỉ hàm tuyến tính thường được sử dụng khi có không gian trạng thái lớn. (Khi tra cứu bảng trở nên không khả thi.)

Dạng của giá trị với xấp xỉ hàm tuyến tính được cho bởi$Q-$

trong đó là các trọng số và là các tính năng.$w_i$$f_i$

Các tính năng được xác định trước bởi người dùng. Câu hỏi của tôi là, trọng lượng được chỉ định như thế nào?

Tôi đã đọc / tải xuống một số slide bài giảng về learning với chức năng gần đúng. Hầu hết trong số họ có slide về hồi quy tuyến tính theo sau. Vì chúng chỉ là slide, nên chúng có xu hướng không hoàn chỉnh. Tôi tự hỏi những gì kết nối / mối quan hệ giữa hai chủ đề.$Q-$

Xấp xỉ hàm về cơ bản là một vấn đề hồi quy (theo nghĩa chung, nghĩa là trái ngược với phân loại trong đó lớp rời rạc), tức là người ta cố gắng học ánh xạ hàm từ đầu vào (trong trường hợp của bạn ) thành giá trị thực đầu ra . Vì chúng tôi không có bảng đầy đủ tất cả các giá trị đầu vào / đầu ra, nhưng thay vào đó, hãy tìm hiểu và ước tính cùng một lúc, các tham số (ở đây: trọng số ) không thể được tính trực tiếp từ dữ liệu. Một cách tiếp cận phổ biến ở đây là sử dụng độ dốc gốc .$f(s,a)$$Q(s,a)$$Q(s,a)$$w$

Dưới đây là thuật toán chung để học với xấp xỉ hàm giá trị$Q(s,a)$

• Ban đầu tham số-vector ngẫu nhiên (ví dụ: trong [0,1])$w=(w_1,w_2,....,w_n)$

• Đối với mỗi tập phim:

  1. $s\leftarrow$ tình trạng ban đầu bên trái của tập
  2. $a\leftarrow$ hành động bên trái được đưa ra bởi chính sách (khuyến nghị: tham lam)$\pi$$\epsilon$
  3. Hãy hành động , quan sát phần thưởng và trạng thái tiếp theo$a$$r$$s'$
  4. $w\leftarrow w+ \alpha(r+\gamma * max_{a'}Q(s',a') - Q(s,a)) \vec\nabla_wQ(s,a)$
  5. $s\leftarrow s'$

  Lặp lại 2-5 cho đến khi là thiết bị đầu cuối$s$

Ở đâu ...

• $\alpha\in[0,1]$ là tốc độ học tập
• $\gamma\in[0,1]$ là tỷ lệ chiết khấu
• $max_{a'}Q(s',a')$ là hành động ở trạng thái tối đa hóa$a'$$s'$$Q(s',a)$
• $\vec\nabla_wQ(s,a)$ là độ dốc của trong . Trong trường hợp tuyến tính của bạn, gradient chỉ đơn giản là một vectơ$Q(s,a)$$w$$(f_1(s,a),...,f_n(s,a))$

Các thông số / trọng số-cập nhật (bước 4) có thể được đọc theo cách như sau:

• $(r+\gamma * max_a'Q(s',a')) - (Q(s,a))$ là lỗi giữa dự đoán và giá trị "thực tế" cho , đó là phần thưởng nhận được bây giờ CỘNG phần thưởng được mong đợi, được giảm giá theo chính sách tham lam sau đó$Q(s,a)$$Q(s,a)$$r$ $\gamma * max_a'Q(s',a')$
• Vì vậy, tham số / vectơ trọng lượng được chuyển sang hướng dốc nhất (được đưa ra bởi gradient ) theo số lượng lỗi đo được, được điều chỉnh bởi .$\vec\nabla_wQ(s,a)$$\alpha$

Nguồn chính:

Chương 8 Giá trị gần đúng của cuốn sách (khuyến nghị chung) Học tập củng cố: Giới thiệu của Sutton và Barto (Ấn bản đầu tiên). Thuật toán chung đã được sửa đổi vì nó thường được thực hiện để tính thay vì . Tôi cũng đã bỏ dấu vết đủ điều kiện để tập trung vào gradient descent, do đó chỉ sử dụng một bước-sao lưu$Q(s,a)$$V(s)$$e$

Tham khảo thêm

• Chơi Atari với Học tập tăng cường sâu của Mnih cho thấy một ví dụ thực tế tuyệt vời khi học với Mạng nơ-ron được sao lưu (trong đó Gradient Descent được tích hợp vào thuật toán hồi quy).$Q(s,a)$
• Một khảo sát ngắn gọn về xấp xỉ hàm giá trị tham số của Geist và Pietquin. Có vẻ đầy hứa hẹn, nhưng tôi chưa đọc nó.