Thống kê và dữ liệu lớn gradient-descent

8

Tại sao phương pháp của Newton không được sử dụng rộng rãi trong học máy?

Đây là một cái gì đó đã làm tôi khó chịu trong một thời gian và tôi không thể tìm thấy bất kỳ câu trả lời thỏa đáng nào trên mạng, vì vậy hãy vào đây: Sau khi xem xét một tập hợp các bài giảng về tối ưu hóa …

132 machine-learning optimization gradient-descent hessian

3

Giảm dần độ dốc so với độ dốc dốc ngẫu nhiên

Giả sử chúng ta có một số tập huấn luyện cho . Cũng giả sử chúng tôi chạy một số loại thuật toán học có giám sát trên tập huấn luyện. Các giả thuyết được biểu diễn dưới dạng . Chúng ta cần tìm các tham số để thu nhỏ …

101 optimization gradient-descent sgd

6

Tại sao sử dụng độ dốc giảm dần cho hồi quy tuyến tính, khi giải pháp toán học dạng đóng có sẵn?

Tôi đang tham gia các khóa học về Machine Learning trực tuyến và tìm hiểu về Gradient Descent để tính toán các giá trị tối ưu trong giả thuyết. h(x) = B0 + B1X tại sao chúng ta cần sử dụng Gradient Descent nếu chúng ta có thể dễ dàng …

74 regression machine-learning gradient-descent

2

Giải các tham số hồi quy ở dạng đóng và giảm độ dốc

Trong khóa học máy của Andrew Ng , ông giới thiệu hồi quy tuyến tính và hồi quy logistic, và chỉ ra cách điều chỉnh các tham số mô hình bằng cách sử dụng phương pháp giảm độ dốc và phương pháp Newton. Tôi biết giảm dần độ dốc có …

71 regression machine-learning logistic gradient-descent

3

Tại sao các nhà nghiên cứu mạng lưới thần kinh quan tâm đến kỷ nguyên?

Một epoch trong độ dốc dốc ngẫu nhiên được định nghĩa là một lần đi qua dữ liệu. Đối với mỗi xe buýt nhỏ SGD, mẫu được vẽ, độ dốc được tính toán và các tham số được cập nhật. Trong cài đặt kỷ nguyên, các mẫu được vẽ mà …

69 neural-networks deep-learning gradient-descent

7

Tối ưu hóa khi chức năng chi phí chậm để đánh giá

Gradient giảm dần và nhiều phương thức khác hữu ích cho việc tìm cực tiểu cục bộ trong các hàm chi phí. Chúng có thể hiệu quả khi hàm chi phí có thể được đánh giá nhanh chóng tại mỗi điểm, cho dù bằng số hay phân tích. Tôi có …

59 gradient-descent optimization bayesian-optimization

6

Tối ưu hóa Adam với phân rã theo cấp số nhân

Trong hầu hết các mã Tensorflow tôi đã thấy Adam Tối ưu hóa được sử dụng với Tỷ lệ học tập không đổi là 1e-4(tức là 0,0001). Mã thường trông như sau: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These …

53 neural-networks deep-learning gradient-descent tensorflow adam

1

Kích thước lô phải lớn như thế nào đối với gốc dốc ngẫu nhiên?

Tôi hiểu rằng việc giảm độ dốc ngẫu nhiên có thể được sử dụng để tối ưu hóa mạng thần kinh bằng cách sử dụng backpropagation bằng cách cập nhật mỗi lần lặp với một mẫu khác nhau của tập dữ liệu huấn luyện. Kích thước lô phải lớn như …

49 machine-learning neural-networks gradient-descent backpropagation

4

Sự khác biệt giữa giảm dần độ dốc dựa trên động lượng và độ dốc tăng tốc của Nesterov là gì?

Vì vậy, độ dốc gốc dốc hoạt động như sau: v=self.momentum∗m−lr∗gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g Trong đó là bản cập nhật trọng số trước đó và là độ dốc hiện tại đối với các tham số , là tốc độ học tập và là một hằng số.g p l r s e l f …

48 optimization gradient-descent

1

Sự khác biệt giữa GradientDescentOptimizer và AdamOptimizer (TensorFlow)?

Tôi đã viết một MLP đơn giản trong TensorFlow đang tạo mô hình Cổng XOR . Vì vậy đối với: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] nó sẽ tạo ra như sau: output_data = [[0.], [1.], [1.], [0.]] Mạng có một lớp đầu vào, một lớp …

45 machine-learning neural-networks error gradient-descent supervised-learning

1

Làm thế nào để phương pháp Adam của gốc dốc ngẫu nhiên hoạt động?

Tôi quen thuộc với các thuật toán giảm độ dốc cơ bản để đào tạo mạng lưới thần kinh. Tôi đã đọc bài viết đề xuất Adam: ADAM: PHƯƠNG PHÁP TỐI ƯU HÓA HẤP DẪN . Mặc dù tôi chắc chắn đã có một số hiểu biết (ít nhất là), …

45 neural-networks optimization gradient-descent adam

1

Mạng lưới thần kinh: động lượng thay đổi trọng lượng và giảm cân

Động lượng được sử dụng để làm giảm các dao động về thay đổi trọng lượng trong các lần lặp liên tiếp:αα\alpha nơiE(w)là hàm lỗi,w- vector của trọng lượng,η- Tỷ lệ học.Δ ωTôi( T + 1 ) = - η∂E∂wTôi+ Alpha delta wTôi( t ) ,ΔωTôi(t+1)= =-η∂E∂wTôi+αΔωTôi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial …

41 neural-networks optimization regularization gradient-descent

4

Làm thế nào để chức năng kích hoạt trực tuyến giải quyết vấn đề gradient biến mất trong các mạng thần kinh?

Tôi tìm thấy đơn vị tuyến tính chỉnh lưu (ReLU) được ca ngợi ở một số nơi như là một giải pháp cho vấn đề độ dốc biến mất cho các mạng thần kinh. Nghĩa là, người ta sử dụng max (0, x) làm chức năng kích hoạt. Khi kích …

40 machine-learning neural-networks deep-learning gradient-descent

2

Ai đã phát minh ra độ dốc dốc ngẫu nhiên?

Tôi đang cố gắng để hiểu được lịch sử của Gradient descent và gradient descent Stochastic . Gradient gốc được phát minh ở Cauchy vào năm 1847. Méthode générale pour la résolution des systèmes d'équations simultanées . Trang 536 Vang538 Để biết thêm thông tin về nó, hãy xem tại …

36 references gradient-descent history sgd

2

Chúng ta có cần giảm độ dốc để tìm các hệ số của mô hình hồi quy tuyến tính không?

Tôi đã cố gắng học máy học bằng vật liệu Coursera . Trong bài giảng này, Andrew Ng sử dụng thuật toán giảm độ dốc để tìm các hệ số của mô hình hồi quy tuyến tính sẽ giảm thiểu hàm lỗi (hàm chi phí). Đối với hồi quy tuyến …

31 regression machine-learning linear-model gradient-descent

Câu hỏi được gắn thẻ «gradient-descent»