Câu hỏi được gắn thẻ «backpropagation»

Nhiều sách và hướng dẫn về mạng nơ-ron dành nhiều thời gian cho thuật toán backpropagation, về cơ bản là một công cụ để tính toán độ dốc. Giả sử chúng ta đang xây dựng một mô hình với ~ 10K tham số / trọng lượng. Có thể chạy tối …

94 machine-learning  neural-networks  optimization  backpropagation 

Tôi hiểu rằng việc giảm độ dốc ngẫu nhiên có thể được sử dụng để tối ưu hóa mạng thần kinh bằng cách sử dụng backpropagation bằng cách cập nhật mỗi lần lặp với một mẫu khác nhau của tập dữ liệu huấn luyện. Kích thước lô phải lớn như …

49 machine-learning  neural-networks  gradient-descent  backpropagation 

Cụ thể, tôi cho rằng tôi tự hỏi về tuyên bố này: Các phiên bản chính trong tương lai của TensorFlow sẽ cho phép độ dốc chảy vào đầu vào nhãn trên backprop theo mặc định. Mà được hiển thị khi tôi sử dụng tf.nn.softmax_cross_entropy_with_logits. Trong cùng một thông điệp, …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

Tôi đang cố gắng hiểu làm thế nào backpropagation hoạt động cho lớp đầu ra softmax / cross-entropy. Hàm lỗi entropy chéo là E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j với và là mục tiêu và đầu ra tại nơron , tương ứng. Tổng là trên mỗi nơ ron trong lớp đầu ra. …

40 backpropagation  derivative  softmax  cross-entropy 

Tôi đã đọc một vài bài báo thảo luận về ưu và nhược điểm của từng phương pháp, một số ý kiến ​​cho rằng GA không đưa ra bất kỳ cải tiến nào trong việc tìm giải pháp tối ưu trong khi những người khác cho thấy rằng nó hiệu …

34 neural-networks  genetic-algorithms  backpropagation 

Trong khóa học Mạng thần kinh và Deep Learning của Andrew Ng trên Coursera , ông nói rằng sử dụng hầu như luôn luôn thích hợp hơn là sử dụng .tanhtanhtanhsigmoidsigmoidsigmoid Lý do anh đưa ra là các kết quả đầu ra sử dụng trung tâm khoảng 0 thay vì …

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

Tại sao nó nguy hiểm để khởi tạo trọng lượng với số không? Có ví dụ đơn giản nào chứng minh điều đó không?

30 neural-networks  backpropagation 

Tôi đọc ở đây như sau: Đầu ra Sigmoid không phải là trung tâm không . Điều này là không mong muốn vì các nơ-ron trong các lớp xử lý sau này trong Mạng thần kinh (sẽ sớm có thêm thông tin này) sẽ nhận được dữ liệu không phải …

26 neural-networks  deep-learning  backpropagation 

Tôi tò mò về cách độ dốc được truyền ngược qua mạng thần kinh bằng cách sử dụng các mô đun ResNet / bỏ qua các kết nối. Tôi đã thấy một vài câu hỏi về ResNet (ví dụ: Mạng thần kinh có kết nối lớp bỏ qua ) nhưng …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

Khi đào tạo một mạng lưới thần kinh bằng thuật toán lan truyền ngược, phương pháp giảm độ dốc được sử dụng để xác định các cập nhật trọng lượng. Câu hỏi của tôi là: Thay vì sử dụng phương pháp giảm độ dốc để từ từ xác định điểm …

22 neural-networks  gradient-descent  backpropagation 

Trong đào tạo mạng lưới thần kinh sâu và nông, tại sao các phương pháp gradient (ví dụ: độ dốc gốc, Nesterov, Newton-Raphson) thường được sử dụng, trái ngược với các siêu dữ liệu khác? Theo siêu dữ liệu, ý tôi là các phương pháp như ủ mô phỏng, tối …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Tại sao backpropagation không hoạt động khi bạn khởi tạo tất cả trọng số có cùng giá trị (giả sử 0,5), nhưng hoạt động tốt khi được cung cấp các số ngẫu nhiên? Không nên thuật toán tính toán lỗi và làm việc từ đó, mặc dù thực tế là …

20 machine-learning  neural-networks  backpropagation 

Tôi đã có một sự nhầm lẫn nhỏ về thuật toán backpropagation được sử dụng trong perceptionron đa lớp (MLP). Lỗi được điều chỉnh bởi hàm chi phí. Trong backpropagation, chúng tôi đang cố gắng điều chỉnh trọng lượng của các lớp ẩn. Lỗi đầu ra tôi có thể hiểu, …

19 machine-learning  neural-networks  backpropagation 

Khi tôi triển khai gradient lô nhỏ, tôi chỉ tính trung bình độ dốc của tất cả các ví dụ trong lô đào tạo. Tuy nhiên, tôi nhận thấy rằng bây giờ tỷ lệ học tối ưu cao hơn nhiều so với độ dốc trực tuyến. Trực giác của tôi …

15 neural-networks  gradient-descent  backpropagation 

Trong một mạng thần kinh tái phát, bạn thường sẽ chuyển tiếp truyền qua một số bước thời gian, "hủy đăng ký" mạng và sau đó truyền lại qua chuỗi các đầu vào. Tại sao bạn không chỉ cập nhật các trọng số sau mỗi bước riêng lẻ trong chuỗi? …

14 time-series  neural-networks  backpropagation  rnn