Làm thế nào chính xác để tính toán Hàm mất Q-Learning sâu?

Tôi nghi ngờ về cách chính xác chức năng mất của Mạng Q-Learning sâu được đào tạo. Tôi đang sử dụng một mạng feedforward 2 lớp với lớp đầu ra tuyến tính và các lớp ẩn relu.

1. Giả sử tôi có 4 hành động có thể. Do đó, đầu ra của mạng của tôi cho tình trạng hiện thời là Q ( s t ) ∈ R 4 . Để làm cho nó cụ thể hơn, giả sử Q ( s t ) = [ 1.3 , 0.4 , 4.3 , 1.5 $s_t$$Q(s_t) \in \mathbb{R}^4$$Q(s_t) = [1.3, 0.4, 4.3, 1.5]$
2. Bây giờ tôi thực hiện hành động tương ứng với giá trị 4.3 tức là hành động thứ 3 và đạt đến trạng thái mới s t + 1 .$a_t = 2$$4.3$$s_{t+1}$
3. Tiếp theo, tôi tính toán chuyển tiếp với trạng thái và giả sử tôi nhận được các giá trị sau ở lớp đầu ra Q ( s t + 1 ) = [ 9.1 , 2.4 , 0.1 , 0.3 ] . Cũng giả sử phần thưởng r t = 2 , và γ = 1,0 .$s_{t+1}$$Q(s_{t+1}) = [9.1, 2.4, 0.1, 0.3]$$r_t = 2$$\gamma = 1.0$

4. Là sự mất mát được đưa ra bởi:

   $\mathcal{L} = (11.1- 4.3)^2$

   HOẶC LÀ

   $\mathcal{L} = \frac{1}{4}\sum_{i=0}^3 ([11.1, 11.1, 11.1, 11.1] - [1.3, 0.4, 4.3, 1.5])^2$

   HOẶC LÀ

   $\mathcal{L} = \frac{1}{4}\sum_{i=0}^3 ([11.1, 4.4, 2.1, 2.3] - [1.3, 0.4, 4.3, 1.5])^2$

Cảm ơn bạn, xin lỗi tôi đã phải viết nó ra một cách rất cơ bản ... Tôi bối rối bởi tất cả các ký hiệu. (Tôi nghĩ câu trả lời đúng là câu thứ hai ...)

Sau khi xem xét các phương trình một vài lần nữa. Tôi nghĩ rằng sự mất mát chính xác là như sau:

$state,action$

Phương trình này có nghĩa là cập nhật chỉ xảy ra đối với một cụ thể cặp và đối với mạng q thần kinh có nghĩa là tổn thất chỉ được tính cho một đơn vị đầu ra cụ thể tương ứng với một cụ thể .$state,action$$action$

Trong ví dụ được cung cấp và là .$Q(s,a) = 4.3$$target$$r + \gamma \max_{a*}Q(s',a*) = 11.1$