Học hỏi với Mạng thần kinh là gần đúng chức năng

Tôi đang cố gắng sử dụng Mạng thần kinh để ước tính giá trị Q trong học tập Q như trong Câu hỏi về Q-Learning sử dụng Mạng thần kinh . Như được đề xuất trong câu trả lời đầu tiên, tôi đang sử dụng chức năng kích hoạt tuyến tính cho lớp đầu ra, trong khi tôi vẫn đang sử dụng chức năng kích hoạt sigmoid trong các lớp ẩn (2, mặc dù tôi có thể thay đổi điều này sau). Tôi cũng đang sử dụng một NN duy nhất trả về một đầu ra cho mỗi hành động như được khuyên. $Q(a)$

Tuy nhiên, thuật toán vẫn chuyển hướng cho bài toán cân bằng cực đơn giản. Vì vậy, tôi sợ Q-update của tôi sai. Sau khi khởi tạo, những gì tôi đã làm ở mỗi bước như sau:

Tính toán bằng cách truyền chuyển tiếp NN cho tất cả các hành động. $Q_t(s_t)$
Chọn một hành động mới, , hạ cánh ở trạng thái mới . $a_t$ $s_t$
Tính toán bằng cách sử dụng lan truyền về phía trước của NN cho tất cả các hành động. $Q_t(s_{t+1})$
Đặt giá trị Q đích là: chỉ cho hành động hiện tại, , trong khi đặt cho các trạng thái khác. Lưu ý, tôi nghĩ rằng đây là vấn đề. $Q_{t+1}(s_t,a_t)=Q_t(s_t,a_t)+\alpha_t \left[r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t(s_t,a_t) \right]$ $a_t$ $Q_{t+1}(s,a_t)=Q_{t}(s,a_t)$
Đặt vectơ lỗi thành $\mathbf{e}=Q_\mathrm{target}-Q_t=Q_{t+1}-Q_t$
Backpropagate lỗi thông qua NN để cập nhật ma trận trọng số.

Bất cứ ai có thể xin vui lòng chỉ cho tôi nơi tôi đã đi sai?

Ngoài ra, bạn có nghĩ rằng tôi nên bao gồm một thuật ngữ thiên vị cũng như trong lớp đầu vào và lớp ẩn đầu tiên (nghĩa là cho các hàm sigmoid)? Nó sẽ làm cho một sự khác biệt?

Cảm ơn bạn rất nhiều vì sự giúp đỡ của bạn. Tôi có thể giúp làm rõ câu hỏi hoặc chia sẻ mã nếu cần.

neural-networks reinforcement-learning

— Enrico Anderlini
nguồn

Mục tiêu của bạn chỉ là

$r_{t+1}+\gamma \max_a Q(s_{t+1},a)$ .

Lưu ý rằng thuật ngữ lỗi của bạn (đúng) sau đó có thể được viết lại thành $r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t$

đó là thuật ngữ bên trong ngoặc trong công thức cập nhật. Điều này sẽ được nhân với tỷ lệ học NN của bạn và các thuật ngữ truyền bá khác trong quá trình học, sau đó được thêm vào các trọng số trước đó, giống như công thức cập nhật $Q$

— RCpinto
nguồn

Cảm ơn vì tiền boa! Bằng cách đó tôi có thể tránh được các lỗi số trong giá trị đích: như bạn nói, việc thêm và trừ là vô nghĩa .

Q_{t}

$Q_t$

— Enrico Anderlini

Tuy nhiên, NN + Q-learning của tôi vẫn không hội tụ. Vì vậy, nếu phương pháp này là chính xác, tôi đoán tôi sẽ cố gắng chơi xung quanh với tốc độ học tập và số lượng tế bào thần kinh trong (các) lớp ẩn

— Enrico Anderlini

Có, bạn nên làm điều đó (cố gắng sử dụng chức năng chuyển ReLU nữa). Nhưng lưu ý rằng Q-Learning không có đảm bảo hội tụ với hàm gần đúng. Nếu lần thử tiếp theo của bạn không hiệu quả, bạn có thể muốn thử Lợi ích học tập. Và cuối cùng, vấn đề có thể là dữ liệu của bạn không phải là iid. Vì vậy, bạn cần triển khai Trải nghiệm Phát lại.

— RCpinto

Tôi có một phần mở rộng cho câu hỏi. Tôi hiểu thuật toán như được đề cập trong câu hỏi nhưng bối rối về các điều khoản và . Nếu phần thưởng cho trò chơi chỉ được biết đến vào cuối trò chơi (tại một điều kiện thắng hoặc thua), làm thế nào để chúng ta cung cấp phần thưởng cho một bước trung gian?

Q_{t + 1}

$Q_{t+1}$

r_{t + 1}

$r_{t+1}$

— K Biếnka Ganguly

Bạn không, nó bằng không. Nhưng nó sẽ được truyền từ từ bởi các giá trị Q sang các trạng thái trước đó, bởi vì giá trị Q là ước tính của phần thưởng tích lũy trong tương lai .

— RCpinto