Trải nghiệm trên mạng là gì

Tôi đã đọc DeepMind Atari của Google giấy và tôi đang cố gắng để hiểu được khái niệm "kinh nghiệm phát lại". Phát lại kinh nghiệm xuất hiện trong rất nhiều tài liệu học tập củng cố khác (đặc biệt là bài AlphaGo), vì vậy tôi muốn hiểu cách thức hoạt động của nó. Dưới đây là một số trích đoạn.

Đầu tiên, chúng tôi sử dụng một cơ chế lấy cảm hứng từ sinh học gọi là phát lại kinh nghiệm ngẫu nhiên hóa dữ liệu, từ đó loại bỏ các mối tương quan trong chuỗi quan sát và làm mịn các thay đổi trong phân phối dữ liệu.

Bài viết sau đó xây dựng như sau:

Trong khi phương pháp ổn định khác tồn tại để huấn luyện mạng neural trong bối cảnh học tăng cường, như thần kinh được trang bị Q-lặp, các phương pháp này liên quan đến việc đào tạo lặp đi lặp lại của mạng de novo hàng trăm lần lặp lại. Do đó, các phương pháp này, không giống như thuật toán của chúng tôi, quá kém hiệu quả để được sử dụng thành công với các mạng thần kinh lớn. Chúng tôi tham số hóa một hàm giá trị gần đúng bằng cách sử dụng mạng nơ ron tích chập sâu được hiển thị trong Hình 1, trong đó là các tham số (nghĩa là trọng số) của mạng Q khi lặp . Để thực hiện phát lại trải nghiệm, chúng tôi lưu trữ trải nghiệm của đại lý tại mỗi bước$Q(s, a; \theta_i)$$\theta_i$$i$$e_t = (s_t, a_t, r_t, s_{t+1})$$t$trong tập dữ liệu . Trong quá trình học, chúng tôi áp dụng các cập nhật Q-learning, trên các mẫu (hoặc các đợt nhỏ) kinh nghiệm , được rút ra một cách ngẫu nhiên từ nhóm mẫu được lưu trữ. Bản cập nhật Q-learning tại iteration sử dụng hàm mất sau:$D_t = \{e_1, \dots, e_t \}$$(s, a, r, s') \sim U(D)$$i$

$$L_i(\theta_i) = \mathbb{E}_{(s, a, r, s') \sim U(D)} \left[ \left(r + \gamma \max_{a'} Q(s', a'; \theta_i^-) - Q(s, a; \theta_i)\right)^2 \right]$$

Phát lại kinh nghiệm là gì và lợi ích của nó là gì, theo thuật ngữ của giáo dân?

Phần chính của văn bản được trích dẫn là:

Để thực hiện phát lại trải nghiệm, chúng tôi lưu trữ trải nghiệm của đại lý$e_t = (s_t,a_t,r_t,s_{t+1})$

Điều này có nghĩa là thay vì chạy Q-learning trên các cặp trạng thái / hành động khi chúng xảy ra trong quá trình mô phỏng hoặc trải nghiệm thực tế, hệ thống lưu trữ dữ liệu được phát hiện cho [trạng thái, hành động, phần thưởng, next_state] - thường trong một bảng lớn. Lưu ý rằng điều này không lưu trữ các giá trị liên quan - đây là dữ liệu thô để đưa vào tính toán giá trị hành động sau này.

Giai đoạn học tập sau đó tách biệt một cách hợp lý với việc tích lũy kinh nghiệm và dựa trên việc lấy các mẫu ngẫu nhiên từ bảng này. Bạn vẫn muốn xen kẽ hai quy trình - hành động và học hỏi - bởi vì cải thiện chính sách sẽ dẫn đến các hành vi khác nhau nên khám phá các hành động gần hơn với các quy trình tối ưu và bạn muốn học hỏi từ các quy trình đó. Tuy nhiên, bạn có thể phân chia điều này theo cách bạn muốn - ví dụ: thực hiện một bước, học từ ba bước ngẫu nhiên trước đó, v.v ... Các mục tiêu Q-Learning khi sử dụng phát lại trải nghiệm sử dụng các mục tiêu giống như phiên bản trực tuyến, do đó không có công thức mới cho điều đó. Công thức thua lỗ được đưa ra cũng là công thức bạn sẽ sử dụng cho DQN mà không cần trải nghiệm lại. Sự khác biệt duy nhất là đó là, một, r, s', một' bạn ăn vào nó.

Trong DQN, nhóm DeepMind cũng duy trì hai mạng và chuyển đổi mạng nào đang học và mạng nào được cung cấp trong ước tính giá trị hành động hiện tại là "bootstraps". Điều này giúp cho sự ổn định của thuật toán khi sử dụng một xấp xỉ hàm phi tuyến tính. Đó là những gì thanh đại diện cho - nó biểu thị phiên bản đông lạnh thay thế của các trọng số.${\theta}^{\overline{\space}}_i$

Ưu điểm của phát lại kinh nghiệm:

• Sử dụng hiệu quả hơn kinh nghiệm trước đây, bằng cách học hỏi với nó nhiều lần. Đây là chìa khóa khi có được trải nghiệm thực tế tốn kém, bạn có thể sử dụng toàn bộ nó. Các cập nhật Q-learning tăng dần và không hội tụ nhanh, do đó, nhiều lượt đi với cùng một dữ liệu có lợi, đặc biệt là khi có kết quả thấp trong kết quả ngay lập tức (phần thưởng, trạng thái tiếp theo) với cùng một trạng thái, cặp hành động.

• Hành vi hội tụ tốt hơn khi đào tạo một hàm xấp xỉ. Một phần điều này là do dữ liệu giống như dữ liệu iid được giả định trong hầu hết các bằng chứng hội tụ học tập có giám sát.

Nhược điểm của kinh nghiệm chơi lại:

• Việc sử dụng các thuật toán học nhiều bước khó hơn, chẳng hạn như Q ( ), có thể được điều chỉnh để đưa ra các đường cong học tập tốt hơn bằng cách cân bằng giữa sai lệch (do bootstrapping) và phương sai (do sự chậm trễ và ngẫu nhiên trong kết quả dài hạn ). DQN nhiều bước với DQN phát lại kinh nghiệm là một trong những phần mở rộng được khám phá trong bài báo Rainbow: Kết hợp các cải tiến trong học tập tăng cường sâu .$\lambda$

Cách tiếp cận được sử dụng trong DQN được David Silver phác thảo ngắn gọn trong các phần của bài giảng video này (khoảng 01:17:00, nhưng đáng xem các phần trước nó). Tôi khuyên bạn nên xem toàn bộ loạt bài, đây là một khóa học sau đại học về học tập củng cố, nếu bạn có thời gian.