Câu hỏi được gắn thẻ «neural-networks»

Tôi đang cố gắng thêm một lớp softmax vào mạng lưới thần kinh được đào tạo với backpropagation, vì vậy tôi đang cố gắng tính toán độ dốc của nó. Đầu ra softmax là trong đó là số nơ ron đầu ra. jhj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}}jjj Nếu tôi lấy được nó …

43 neural-networks 

Bất cứ ai có thể giải thích các đơn vị tối đa trong một mạng lưới thần kinh làm gì? Làm thế nào để họ thực hiện và làm thế nào để họ khác với các đơn vị thông thường? Tôi đã cố đọc bài báo "Maxout Network" năm 2013 …

42 machine-learning  neural-networks 

Động lượng được sử dụng để làm giảm các dao động về thay đổi trọng lượng trong các lần lặp liên tiếp:αα\alpha nơiE(w)là hàm lỗi,w- vector của trọng lượng,η- Tỷ lệ học.Δ ωTôi( T + 1 ) = - η∂E∂wTôi+ Alpha delta wTôi( t ) ,ΔωTôi(t+1)= =-η∂E∂wTôi+αΔωTôi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial …

41 neural-networks  optimization  regularization  gradient-descent 

Tại sao hàm sigmoid tiêu chuẩn thực tế, , rất phổ biến trong mạng lưới thần kinh (không sâu) và hồi quy logistic?11+e−x11+e−x\frac{1}{1+e^{-x}} Tại sao chúng ta không sử dụng nhiều hàm có thể tạo được khác, với thời gian tính toán nhanh hơn hoặc phân rã chậm hơn (do …

40 logistic  neural-networks  least-squares 

Tôi chỉ bị ướt chân trong số liệu thống kê nên tôi xin lỗi nếu câu hỏi này không có ý nghĩa. Tôi đã sử dụng các mô hình Markov để dự đoán các trạng thái ẩn (sòng bạc không công bằng, cuộn súc sắc, v.v.) và mạng lưới thần …

40 data-mining  algorithms  neural-networks  markov-process 

Tôi tìm thấy đơn vị tuyến tính chỉnh lưu (ReLU) được ca ngợi ở một số nơi như là một giải pháp cho vấn đề độ dốc biến mất cho các mạng thần kinh. Nghĩa là, người ta sử dụng max (0, x) làm chức năng kích hoạt. Khi kích …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Tôi đang cố gắng dự đoán kết quả của một hệ thống phức tạp bằng cách sử dụng các mạng thần kinh (ANN). Giá trị kết quả (phụ thuộc) nằm trong khoảng từ 0 đến 10.000. Các biến đầu vào khác nhau có phạm vi khác nhau. Tất cả các …

40 machine-learning  neural-networks  multidimensional-scaling 

Trong các tài liệu phân loại ImageNet, tỷ lệ lỗi top 1 và top 5 là các đơn vị quan trọng để đo lường sự thành công của một số giải pháp, nhưng các tỷ lệ lỗi đó là gì? Trong phân loại ImageNet với các mạng nơ ron kết …

38 classification  neural-networks  error  measurement-error  image-processing 

Mạng lưới thần kinh thường được coi là "hộp đen" do cấu trúc phức tạp của chúng. Điều này không lý tưởng, vì thường có ích khi nắm bắt trực quan về cách một mô hình hoạt động nội bộ. Các phương pháp trực quan hóa làm thế nào một …

37 data-visualization  neural-networks 

Một vấn đề tôi thường thấy được đưa ra trong bối cảnh Mạng thần kinh nói chung và Mạng lưới thần kinh sâu nói riêng, đó là chúng "đói dữ liệu" - đó là chúng không hoạt động tốt trừ khi chúng ta có một bộ dữ liệu lớn với …

37 neural-networks  deep-learning  regularization 

Tôi đang đào tạo một mạng lưới thần kinh và tổn thất đào tạo giảm, nhưng mất xác thực thì không, hoặc nó giảm ít hơn nhiều so với những gì tôi mong đợi, dựa trên các tài liệu tham khảo hoặc thí nghiệm có kiến ​​trúc và dữ liệu …

37 neural-networks  deep-learning 

Sự khác biệt giữa các thuật ngữ "hạt nhân" và "bộ lọc" trong bối cảnh của các mạng thần kinh tích chập là gì?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Trước hết, tôi nhận ra nếu tôi cần thực hiện dự đoán nhị phân, tôi phải tạo ít nhất hai lớp thông qua thực hiện mã hóa một nóng. Điều này có đúng không? Tuy nhiên, có phải entropy chéo nhị phân chỉ dành cho dự đoán chỉ có một …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Hàm chi phí của mạng nơ ron là và nó được khẳng định là không lồi . Tôi không hiểu tại sao lại như vậy, vì tôi thấy nó khá giống với hàm chi phí của hồi quy logistic, phải không?J( W, b )J(W,b)J(W,b) Nếu nó không lồi, thì đạo …

36 neural-networks  loss-functions 

LSTM được phát minh đặc biệt để tránh vấn đề độ dốc biến mất. Nó được cho là làm điều đó với Carousel lỗi liên tục (CEC), trên sơ đồ bên dưới (từ Greff và cộng sự ) tương ứng với vòng lặp quanh ô . (nguồn: deeplearning4j.org ) Và …

35 neural-networks  lstm