Câu hỏi được gắn thẻ «derivative»

Tôi đang cố gắng hiểu làm thế nào backpropagation hoạt động cho lớp đầu ra softmax / cross-entropy. Hàm lỗi entropy chéo là E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j với và là mục tiêu và đầu ra tại nơron , tương ứng. Tổng là trên mỗi nơ ron trong lớp đầu ra. …

40 backpropagation  derivative  softmax  cross-entropy 

Tôi đang tham gia khóa học Machine Learning Stanford trên Coursera. Trong chương về Hồi quy logistic, hàm chi phí là: Sau đó, nó được dẫn xuất ở đây: Tôi đã thử lấy đạo hàm của hàm chi phí nhưng tôi có một thứ hoàn toàn khác. Đạo hàm thu …

29 regression  logistic  gradient-descent  derivative 

Không chắc câu hỏi này có thuộc về vấn đề này không, nhưng nó liên quan chặt chẽ đến các phương pháp gradient trong tối ưu hóa, dường như là chủ đề ở đây. Dù sao, hãy thoải mái di chuyển nếu bạn nghĩ rằng một số cộng đồng khác …

27 optimization  derivative  tensorflow  automatic-differentiation 

Trong nhận dạng mẫu sách và học máy (công thức 1.27), nó mang lại py( y) = px( X ) |||dxdy|||= px( g( y) ) | g'( y) |py(y)= =px(x)|dxdy|= =px(g(y))|g'(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) | trong đó , là pdf tương ứng với đối …

15 machine-learning  probability  self-study  derivative  jacobian 

Tôi có một bộ dữ liệu có chứa, giả sử, một số phép đo cho vị trí, tốc độ và gia tốc. Tất cả đều đến từ cùng một "cuộc chạy". Tôi có thể xây dựng một hệ thống tuyến tính và phù hợp với đa thức cho tất cả …

13 r  model  fitting  splines  derivative 

Tôi tin rằng đạo hàm của một quá trình Gaussian (GP) là một GP khác, và vì vậy tôi muốn biết liệu có các phương trình dạng đóng cho các phương trình dự đoán của đạo hàm của GP không? Cụ thể, tôi đang sử dụng hạt nhân hiệp phương …

12 stochastic-processes  gaussian-process  derivative 

Trong cuốn sách của Goodfellow (2016) về học tập sâu, ông đã nói về sự tương đương của việc dừng sớm với chính quy L2 ( https://www.deeplearningbook.org/contents/THERization.html trang 247). Xấp xỉ bậc hai của hàm chi phí jjj được cho bởi: J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) HHHf(w+ϵ)=f(w)+f′(w)⋅ϵ+12f′′(w)⋅ϵ2f(w+ϵ)=f(w)+f′(w)⋅ϵ+12f″(w)⋅ϵ2f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2

11 neural-networks  deep-learning  loss-functions  derivative 

Ở một số điểm tôi đã thấy việc sử dụng đạo hàm Radon-Nikodym của một thước đo xác suất đối với một thước đo xác suất khác, đáng chú ý nhất là trong phân kỳ Kullback-Leibler, trong đó nó là đạo hàm của phép đo xác suất của một mô …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Trong khóa học máy của Andrew Ng, anh sử dụng công thức này: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T và anh ta làm một bằng chứng nhanh chóng được hiển thị dưới đây: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T …

10 machine-learning  matrix  derivative 

Tôi hiểu rằng các mạng thần kinh (NN) có thể được coi là các xấp xỉ phổ quát cho cả chức năng và các dẫn xuất của chúng, theo các giả định nhất định (trên cả mạng và chức năng để tính gần đúng). Trên thực tế, tôi đã thực …

10 machine-learning  neural-networks  function  derivative 

Tôi đã cố gắng tạo ra một chương trình đào tạo Mạng nơ-ron trên máy tính của mình. Đối với Mạng được đề cập, tôi đã quyết định sử dụng chức năng Lỗi Entropy chéo: E= - ΣjtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Trong đó là đầu ra đích của Neuron và …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

Khá nhiều tài liệu tham khảo (bao gồm wikipedia và http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf và http://michael.orlitzky.com/articles/the_derivative_of_a_quadratic_form.php ) xác định đạo hàm của a hàm bởi một vectơ là đạo hàm riêng của hàm được sắp xếp theo một hàng (vì vậy đạo hàm của hàm có giá trị vô hướng là vectơ hàng). …

9 linear-algebra  derivative 

Tôi mới học sâu và đang cố gắng tính đạo hàm của hàm sau đối với ma trận ww\mathbf w: p(a)=ew⊤axΣdew⊤dxp(a)=ewa⊤xΣdewd⊤xp(a) = \frac{e^{w_a^\top x}}{\Sigma_{d} e^{w_d^\top x}} Sử dụng quy tắc thương, tôi nhận được: ∂p(a)∂w=xew⊤axΣdew⊤dx−ew⊤axΣdxew⊤dx[Σdew⊤dx]2=0∂p(a)∂w=xewa⊤xΣdewd⊤x−ewa⊤xΣdxewd⊤x[Σdewd⊤x]2=0\frac{\partial p(a)}{\partial w} = \frac{xe^{w_a^\top x}\Sigma_{d} e^{w_d^\top x} - e^{w_a^\top x}\Sigma_{d} xe^{w_d^\top x}}{[\Sigma_{d} e^{w_d^\top x}]^2} = …

8 machine-learning  self-study  neural-networks  derivative  softmax