Tại sao đường cơ sở có điều kiện về trạng thái tại một số dấu thời gian không thiên vị?

Trong chế tạo robot, kỹ thuật học tăng cường được sử dụng để tìm ra mẫu điều khiển cho robot. Thật không may, hầu hết phương pháp độ dốc chính sách đều sai lệch về mặt thống kê có thể khiến robot gặp tình huống không an toàn, xem trang 2 trong Jan Peters và Stefan Schaal: Học tăng cường kỹ năng vận động với độ dốc chính sách, 2008

Với học tập nguyên thủy của động cơ, có thể khắc phục vấn đề vì tối ưu hóa tham số độ dốc chính sách hướng các bước học tập vào mục tiêu.

quote: Triệu Nếu ước tính độ dốc không thiên vị và tỷ lệ học tập hoàn thành tổng (a) = 0 thì quá trình học được đảm bảo hội tụ đến ít nhất một mức tối thiểu cục bộ [...] Do đó, chúng tôi chỉ cần ước tính độ dốc chính sách từ dữ liệu được tạo trong quá trình thực hiện một nhiệm vụ. Tập (trang 4 của cùng một bài)

Trong bài tập về nhà cho lớp Berkeley RL Bài toán 1, nó yêu cầu bạn chỉ ra rằng độ dốc chính sách vẫn không thiên vị nếu đường cơ sở bị trừ là một hàm của trạng thái tại dấu thời gian.

Tôi đang vật lộn qua bước đầu tiên của một bằng chứng như vậy có thể là gì. Ai đó có thể chỉ cho tôi đi đúng hướng? Suy nghĩ ban đầu của tôi là bằng cách nào đó sử dụng luật tổng kỳ vọng để làm cho kỳ vọng của b (st) có điều kiện trên T, nhưng tôi không chắc chắn. Cảm ơn trước :)

_{liên kết đến png gốc của phương trình}

Sử dụng luật của những kỳ vọng lặp đi lặp lại, người ta có:

$\triangledown _\theta \sum_{t=1}^T \mathbb{E}_{(s_t,a_t) \sim p(s_t,a_t)} [b(s_t)] = \nabla_\theta \sum_{t=1}^T \mathbb{E}_{s_t \sim p(s_t)} \left[ \mathbb{E}_{a_t \sim \pi_\theta(a_t | s_t)} \left[ b(s_t) \right]\right] =$

được viết bằng tích phân và di chuyển gradient bên trong (tuyến tính) mà bạn nhận được

$= \sum_{t=1}^T \int_{s_t} p(s_t) \left(\int_{a_t} \nabla_\theta b(s_t) \pi_\theta(a_t | s_t) da_t \right)ds_t =$

bây giờ bạn có thể di chuyển (do tuyến tính) và (không phụ thuộc vào ) tạo thành tích phân bên trong với bên ngoài:$\nabla_\theta$$b(s_t)$$a_t$

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta \left(\int_{a_t} \pi_\theta(a_t | s_t) da_t \right)ds_t=$

$\pi_\theta(a_t | s_t)$ là hàm mật độ xác suất (có điều kiện), do đó tích hợp trên tất cả cho trạng thái cố định đã cho bằng :$a_t$$s_t$$1$

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta 1 ds_t =$

Bây giờ , kết luận bằng chứng.$\nabla_\theta1 = 0$

Có vẻ như bài tập về nhà là do hai ngày trước bài viết của câu trả lời này, nhưng trong trường hợp nó vẫn có liên quan theo một cách nào đó, các ghi chú lớp có liên quan (sẽ hữu ích nếu được cung cấp trong câu hỏi cùng với bài tập về nhà) ở đây .

Trường hợp đầu tiên của kỳ vọng được đặt vào học sinh là: "Vui lòng hiển thị phương trình 12 bằng cách sử dụng luật kỳ vọng lặp lại, phá vỡ bằng cách tách rời hành động trạng thái cận biên từ phần còn lại của quỹ đạo. " Phương trình 12 là thế này.$\mathbb{E}_{\tau \sim p \theta(\tau)}$

$\sum_{t = 1}^{T} E_{\tau \sim p \theta(\tau)} [\nabla_\theta \log \pi_\theta(a_t|s_t)(b(s_t))] = 0$

Các ghi chú lớp xác định là biên hành động trạng thái. Nó không phải là một bằng chứng tìm kiếm, nhưng một chuỗi các bước đại số để thực hiện việc tách rời và cho thấy mức độ độc lập của biên hành động nhà nước có thể đạt được.$\pi_\theta(a_t|s_t)$

Bài tập này là sự chuẩn bị cho bước tiếp theo trong bài tập về nhà và chỉ rút ra khi xem lại CS189, khóa học Giới thiệu về Machine Learning của Bur siêu, không có Luật Kỳ vọng trong giáo trình hoặc ghi chú lớp học.

Tất cả các thông tin liên quan nằm trong liên kết trên để ghi chú lớp và chỉ yêu cầu đại số trung gian.