Câu hỏi được gắn thẻ «sgd»

Giả sử chúng ta có một số tập huấn luyện cho . Cũng giả sử chúng tôi chạy một số loại thuật toán học có giám sát trên tập huấn luyện. Các giả thuyết được biểu diễn dưới dạng . Chúng ta cần tìm các tham số để thu nhỏ …

101 optimization  gradient-descent  sgd 

Tôi đang cố gắng để hiểu được lịch sử của Gradient descent và gradient descent Stochastic . Gradient gốc được phát minh ở Cauchy vào năm 1847. Méthode générale pour la résolution des systèmes d'équations simultanées . Trang 536 Vang538 Để biết thêm thông tin về nó, hãy xem tại …

36 references  gradient-descent  history  sgd 

Với hàm chi phí lồi, sử dụng SGD để tối ưu hóa, chúng ta sẽ có một gradient (vectơ) tại một điểm nhất định trong quá trình tối ưu hóa. Câu hỏi của tôi là, với điểm trên lồi, liệu độ dốc chỉ trỏ theo hướng mà hàm tăng / …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Tôi đã thấy kết luận tương tự từ nhiều cuộc thảo luận, khi kích thước xe buýt nhỏ càng lớn, sự hội tụ của SGD thực sự trở nên khó khăn / tệ hơn, ví dụ như bài báo này và câu trả lời này . Ngoài ra, tôi đã …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Tiêu chuẩn Gradient Descent sẽ tính toán độ dốc cho toàn bộ tập dữ liệu đào tạo. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Đối với số lượng epoch được xác định trước, trước tiên, chúng tôi tính toán vectơ gradient …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Tôi hiện đang hơi bối rối bởi làm thế nào để giảm độ dốc của lô nhỏ có thể bị mắc kẹt trong một điểm yên ngựa. Giải pháp có thể quá tầm thường mà tôi không nhận được. Bạn nhận được một mẫu mới mỗi epoch và nó tính …

14 gradient-descent  sgd 

Tôi đang thực hiện các thử nghiệm trên bộ xác thực EMNIST bằng cách sử dụng các mạng với RMSProp, Adam và SGD. Tôi đang đạt được độ chính xác 87% với SGD (tỷ lệ học là 0,1) và bỏ học (thăm dò bỏ học 0,1) cũng như chính quy …

12 machine-learning  optimization  sgd  adam 

Sự khác biệt giữa Bay biến đổi mã hóa tự động và Backpropagation Stochastic cho các mô hình tạo sâu là gì? Liệu suy luận trong cả hai phương pháp có dẫn đến cùng một kết quả không? Tôi không biết về bất kỳ so sánh rõ ràng nào giữa …

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

Tôi mới đến Keras và cần sự giúp đỡ của bạn. Tôi đang đào tạo một mạng lưới thần kinh ở Keras và chức năng mất của tôi là Squared Difference b / w giá trị mục tiêu và sản lượng của net. Tôi muốn tối ưu hóa điều này …

10 neural-networks  python  gradient-descent  keras  sgd 

Những tình huống nào chúng ta biết về nơi độ dốc có thể được hiển thị để hội tụ (đến điểm tới hạn hoặc cực tiểu cục bộ / toàn cầu) cho các hàm không lồi? Đối với SGD về các chức năng không lồi, một loại bằng chứng đã …

9 gradient-descent  gradient  sgd  non-convex 

Tôi đang cố gắng đào tạo một mô hình lớn (mạng sâu sử dụng caffe) bằng cách sử dụng gốc dốc ngẫu nhiên (SGD). Vấn đề là tôi bị hạn chế bởi dung lượng bộ nhớ GPU của mình và do đó không thể xử lý các lô nhỏ lớn …

7 machine-learning  neural-networks  deep-learning  gradient-descent  sgd