Câu hỏi được gắn thẻ «backpropagation»

Đây là một câu hỏi nhỏ về khái niệm đã làm tôi khó chịu trong một thời gian: Làm thế nào chúng ta có thể truyền bá lại qua một lớp tổng hợp tối đa trong một mạng lưới thần kinh? Tôi đã xem qua các lớp tổng hợp tối …

62 neural-network  backpropagation 

Tôi đã sử dụng mạng lưới thần kinh trong một thời gian. Tuy nhiên, một điều mà tôi không ngừng đấu tranh là việc lựa chọn một trình tối ưu hóa để đào tạo mạng (sử dụng backprop). Những gì tôi thường làm chỉ là bắt đầu với một (ví …

18 neural-network  optimization  backpropagation 

Tôi gặp một số khó khăn trong việc thu hút sự lan truyền trở lại với ReLU và tôi đã thực hiện một số công việc, nhưng tôi không chắc liệu mình có đi đúng hướng hay không. Hàm chi phí: trong đó là giá trị thực và là giá …

17 neural-network  backpropagation 

Tôi có phù hợp với LSTM của mình không nếu tôi huấn luyện nó thông qua phương pháp cửa sổ trượt? Tại sao mọi người dường như không sử dụng nó cho LSTM? Đối với một ví dụ đơn giản, giả sử rằng chúng ta phải dự đoán chuỗi ký …

15 lstm  backpropagation  mini-batch-gradient-descent 

Tôi có CNN sau: Tôi bắt đầu với một hình ảnh đầu vào có kích thước 5x5 Sau đó, tôi áp dụng tích chập bằng cách sử dụng kernel 2x2 và stride = 1, tạo ra bản đồ tính năng có kích thước 4 x 4. Sau đó, tôi áp …

14 machine-learning  convnet  backpropagation  cnn  kernel 

Tôi có một câu hỏi nhỏ cho câu hỏi này . Tôi hiểu rằng khi truyền ngược qua lớp gộp tối đa, độ dốc được chuyển trở lại theo cách mà nơ ron ở lớp trước được chọn là max nhận được tất cả độ dốc. Điều tôi không chắc …

13 machine-learning  neural-network  convnet  backpropagation 

Tôi đã cố gắng thực hiện mạng lưới thần kinh từ đầu để hiểu các toán học đằng sau nó. Vấn đề của tôi hoàn toàn liên quan đến backpropagation khi chúng tôi lấy đạo hàm liên quan đến sai lệch) và tôi đã rút ra tất cả các phương …

13 python  neural-network  backpropagation 

Tôi đang cố gắng tìm hiểu có bao nhiêu trọng lượng và thành kiến ​​cần thiết cho CNN. Giả sử tôi có hình ảnh (3, 32, 32) và muốn áp dụng bộ lọc (32, 5, 5). Đối với mỗi bản đồ tính năng tôi có trọng lượng 5x5, vì vậy …

11 deep-learning  convnet  backpropagation 

Giả sử rằng chúng tôi đang sử dụng cỡ lô 100 mẫu để học. Vì vậy, trong mỗi lô, trọng lượng của mọi nơ-ron (và sai lệch, v.v.) đang được cập nhật bằng cách thêm vào tỷ lệ trừ của tỷ lệ học * giá trị lỗi trung bình mà …

10 neural-network  deep-learning  backpropagation 

Tôi có hai tenor a:[batch_size, dim] b:[batch_size, dim]. Tôi muốn làm sản phẩm bên trong cho mỗi cặp trong lô, tạo c:[batch_size, 1], ở đâu c[i,0]=a[i,:].T*b[i,:]. Làm sao?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Tôi có thể thấy hai động cơ để sử dụng Lớp tổng hợp trong RNN: Để tăng tốc độ đào tạo, bằng cách sửa ngay lập tức từng lớp với độ dốc dự đoán Để có thể học các chuỗi dài hơn Tôi thấy vấn đề với cả hai. Xin …

8 backpropagation 

Gần đây tôi đã làm một bài tập về nhà, nơi tôi phải học một mô hình cho phân loại 10 chữ số của MNIST. CTNH có một số mã giàn giáo và tôi phải làm việc trong bối cảnh của mã này. Bài tập về nhà của tôi hoạt …

8 backpropagation 

Một thực tế nổi tiếng là mạng 1 lớp không thể dự đoán hàm xor, vì nó không thể phân tách tuyến tính. Tôi đã cố gắng tạo một mạng 2 lớp, sử dụng hàm sigmoid logistic và backprop, để dự đoán xor. Mạng của tôi có 2 nơ-ron (và …

8 neural-network  backpropagation 

Hình ảnh hiển thị một lớp điển hình ở đâu đó trong mạng chuyển tiếp nguồn cấp dữ liệu: a(k)iai(k)a_i^{(k)} là giá trị kích hoạt của nơ ron trong lớp .ithithi^{th}kthkthk^{th} W(k)ijWij(k)W_{ij}^{(k)} là trọng lượng kết nối neuron trong lớp đến neuron trong lớp.ithithi^{th}kthkthk^{th}jthjthj^{th}(k+1)th(k+1)th(k+1)^{th} z(k+1)jzj(k+1)z_j^{(k+1)} là giá trị hàm kích …

7 backpropagation  theory  linear-algebra 

ReLU là một chức năng kích hoạt được định nghĩa là h=max(0,a)h=max(0,a)h = \max(0, a)trong đó .a=Wx+ba=Wx+ba = Wx + b Thông thường, chúng tôi đào tạo mạng lưới thần kinh với các phương pháp bậc nhất như SGD, Adam, RMSprop, Adadelta hoặc Adagrad. Backpropagation trong các phương pháp bậc …

7 neural-network  optimization  backpropagation