Tại sao kinh nghiệm phát lại yêu cầu thuật toán ngoài chính sách?

Trong bài viết giới thiệu DQN " Chơi Atari với học tập tăng cường sâu ", nó đã đề cập:

Lưu ý rằng khi học bằng phát lại kinh nghiệm, cần phải học chính sách ngoài (vì các tham số hiện tại của chúng tôi khác với các tham số được sử dụng để tạo mẫu), điều này thúc đẩy sự lựa chọn của Q-learning.

Tôi không hiểu ý nghĩa của nó. Điều gì sẽ xảy ra nếu chúng ta sử dụng SARSA và ghi nhớ hành động a'cho hành động mà chúng ta sẽ thực hiện trong s'bộ nhớ của mình, sau đó lấy các lô từ nó và cập nhật Q như chúng ta đã làm trong DQN? Và, các phương pháp phê bình diễn viên (cụ thể là A3C) có thể sử dụng phát lại kinh nghiệm không? Nếu không, tại sao?

Các phương thức chính sách, như SARSA, hy vọng rằng các hành động ở mọi tiểu bang được chọn dựa trên chính sách hiện tại của đại lý, thường có xu hướng khai thác phần thưởng.

Làm như vậy, chính sách sẽ tốt hơn khi chúng tôi cập nhật chính sách của mình dựa trên phần thưởng cuối cùng. Cụ thể ở đây, họ cập nhật các tham số của NN dự đoán giá trị của một trạng thái / hành động nhất định).

Nhưng, nếu chúng tôi cập nhật chính sách của mình dựa trên các chuyển đổi được lưu trữ, như trong phát lại kinh nghiệm, chúng tôi thực sự đang đánh giá các hành động từ một chính sách không còn là chính sách hiện tại, vì nó đã phát triển theo thời gian, do đó không còn chính sách nữa.

Các giá trị Q được đánh giá dựa trên phần thưởng trong tương lai mà bạn sẽ nhận được từ một tiểu bang theo chính sách đại lý hiện tại.

Tuy nhiên, điều đó không còn đúng nữa vì bạn hiện đang tuân theo một chính sách khác. Vì vậy, họ sử dụng một phương pháp ngoài chính sách phổ biến, khám phá dựa trên cách tiếp cận tham lam của epsilon.

$a$$s$