Tại sao các phương thức gradient chính sách được ưa thích hơn xấp xỉ hàm giá trị trong các miền hành động liên tục?

Cụ thể, trong xấp xỉ hàm giá trị, đặc biệt, trong Q-learning sâu sắc, tôi hiểu rằng trước tiên chúng ta dự đoán các giá trị Q cho mỗi hành động. Tuy nhiên, khi có nhiều hành động, nhiệm vụ này không hề dễ dàng.

Nhưng trong lần lặp chính sách, chúng ta cũng phải xuất ra một vectơ softmax liên quan đến từng hành động. Vì vậy, tôi không hiểu làm thế nào điều này có thể được sử dụng để làm việc với không gian hành động liên tục.

Tại sao các phương thức gradient chính sách được ưa thích hơn xấp xỉ hàm giá trị trong các miền hành động liên tục?

Nhưng trong lần lặp chính sách, chúng ta phải tạo ra một vectơ softmax liên quan đến từng hành động

Điều này là không đúng sự thật. Vectơ softmax là một cách có thể để thể hiện chính sách và hoạt động cho các không gian hành động riêng biệt. Sự khác biệt giữa độ dốc chính sách và cách tiếp cận hàm giá trị ở đây là ở cách bạn sử dụng đầu ra. Đối với hàm giá trị, bạn sẽ tìm thấy đầu ra tối đa và chọn nó (có lẽ là tham lam) và đó phải là ước tính của giá trị của việc thực hiện hành động đó. Đối với chức năng chính sách, bạn sẽ sử dụng đầu ra làm xác suất để chọn từng hành động và bạn không biết giá trị của việc thực hiện hành động đó.$\epsilon$

Vì vậy, tôi không hiểu làm thế nào điều này có thể sử dụng để làm việc với không gian hành động liên tục?

Với các phương thức gradient chính sách, chính sách có thể là bất kỳ chức năng nào của tham số của bạn :$\theta$

• Xuất ra một phân phối xác suất

• Có thể được phân biệt với$\theta$

Vì vậy, ví dụ chức năng chính sách của bạn có thể là

trong đó và có thể là các chức năng bạn triển khai với ví dụ: mạng thần kinh. Đầu ra của mạng là một mô tả về phân phối Bình thường cho giá trị hành động cho một giá trị trạng thái . Chính sách yêu cầu bạn lấy mẫu từ phân phối bình thường được xác định bởi các giá trị đó (NN không thực hiện lấy mẫu đó, bạn thường phải thêm mã đó vào mã).$\mu$$\sigma$$a$$s$

Tại sao các phương thức gradient chính sách được ưa thích hơn xấp xỉ hàm giá trị trong các miền hành động liên tục?

Mặc dù vẫn có thể ước tính giá trị của cặp trạng thái / hành động trong không gian hành động liên tục, nhưng điều này không giúp bạn chọn một hành động. Xem xét cách bạn có thể thực hiện chính sách tham gia bằng cách sử dụng xấp xỉ giá trị hành động: Nó sẽ yêu cầu thực hiện tối ưu hóa không gian hành động cho mỗi và mọi lựa chọn hành động, để tìm hành động tối ưu ước tính. Điều này là có thể, nhưng có khả năng rất chậm / không hiệu quả (cũng có nguy cơ tìm thấy tối đa cục bộ).$\epsilon$

Làm việc trực tiếp với các chính sách phát ra phân phối xác suất có thể tránh được vấn đề này, miễn là các phân phối đó dễ lấy mẫu. Do đó, bạn sẽ thường thấy những thứ như chính sách kiểm soát các tham số của phân phối Bình thường hoặc tương tự, bởi vì nó được biết cách dễ dàng lấy mẫu từ các phân phối đó.

Trong các phương thức hàm Giá trị (hoặc phương thức phê bình), chúng ta thường chọn một trong các tùy chọn sau để chọn hành động của mình sau khi chúng ta ước tính hàm giá trị có liên quan:

• Hàm Boltzman với tham số nhiệt độ (nghịch đảo) kiểm soát mức độ chúng tôi 'nghe' tối đa của hàm giá trị để chọn hành động của chúng tôi.
• $\epsilon$ -greedy: chọn hành động có hàm giá trị tối đa với xác suất (1- ) và ngẫu nhiên với xác suất .$\epsilon$$\epsilon$

Trong Gradient chính sách (hoặc Phương thức diễn viên), chúng ta có hai cách tiếp cận:

1. Stochastic Chính sách sinh viên (SPG): Đầu ra là một xác suất trên các hành động. Đối với thuật toán của bạn, đầu ra sẽ là các tham số của phân phối được chỉ định trước (thường là Gausian) như Neil mô tả. Sau đó, bạn lấy mẫu phân phối đó theo cách tương tự như bạn lấy mẫu phân phối Boltzman.
2. Sinh viên chính sách xác định (DPG): Đầu ra là giá trị của một hành động (ví dụ: tốc độ, chiều cao, v.v.).

Từ những điều trên bạn có thể thấy rõ rằng khi có không gian hành động liên tục, PG đưa ra giải pháp hợp lý hơn nhiều.

Để biết thêm thông tin, tôi đề nghị bạn làm luận án thạc sĩ PG Phương pháp: SGD-DPG của Riashat. Ông đã làm việc chặt chẽ với một trong những đồng tác giả của bài báo DPG của Silver và luận án có cấu trúc rất tốt với mã MATLAB có sẵn. Các phương thức Grad Grad chính sách khó hiểu hơn nhiều do toán học liên quan (và nhiều lần các ký hiệu khác nhau được sử dụng). Tuy nhiên tôi sẽ đề nghị bạn bắt đầu từ Jan Peters và sau đó quay lại các slide của Silver (ý kiến ​​của tôi :)).