Câu hỏi được gắn thẻ «adam»

Trong hầu hết các mã Tensorflow tôi đã thấy Adam Tối ưu hóa được sử dụng với Tỷ lệ học tập không đổi là 1e-4(tức là 0,0001). Mã thường trông như sau: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Tôi quen thuộc với các thuật toán giảm độ dốc cơ bản để đào tạo mạng lưới thần kinh. Tôi đã đọc bài viết đề xuất Adam: ADAM: PHƯƠNG PHÁP TỐI ƯU HÓA HẤP DẪN . Mặc dù tôi chắc chắn đã có một số hiểu biết (ít nhất là), …

45 neural-networks  optimization  gradient-descent  adam 

Tôi đang đọc về trình tối ưu hóa Adam cho Deep Learning và tình cờ thấy câu sau trong cuốn sách mới Deep Learning của Bengio, Goodfellow và Courville: Adam thường được coi là khá mạnh mẽ đối với việc lựa chọn các tham số siêu, mặc dù tốc độ …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Tôi đang đào tạo một mạng lưới thần kinh bằng cách sử dụng i) SGD và ii) Trình tối ưu hóa Adam. Khi sử dụng SGD bình thường, tôi nhận được một sự mất tập luyện trơn tru so với đường cong lặp lại như được thấy dưới đây (màu …

15 neural-networks  deep-learning  adam 

Tôi đang đọc về trình tối ưu hóa Adam cho Deep Learning và tình cờ thấy câu sau trong cuốn sách mới Deep Learning của Begnio, Goodfellow và Courtville: Adam bao gồm các hiệu chỉnh sai lệch cho các ước tính của cả các khoảnh khắc thứ tự đầu tiên …

14 machine-learning  neural-networks  optimization  conv-neural-network  adam 

Tôi đang thực hiện các thử nghiệm trên bộ xác thực EMNIST bằng cách sử dụng các mạng với RMSProp, Adam và SGD. Tôi đang đạt được độ chính xác 87% với SGD (tỷ lệ học là 0,1) và bỏ học (thăm dò bỏ học 0,1) cũng như chính quy …

12 machine-learning  optimization  sgd  adam