Khoa học dữ liệu deep-learning

5

Vấn đề ReLU sắp chết trong các mạng nơ-ron là gì?

Đề cập đến các ghi chú khóa học Stanford về Mạng thần kinh chuyển đổi để nhận dạng trực quan , một đoạn văn nói: "Thật không may, các đơn vị ReLU có thể dễ vỡ trong quá trình luyện tập và có thể" chết ". Ví dụ, một gradient …

119 machine-learning neural-network deep-learning

6

Khi nào nên sử dụng GRU trên LSTM?

Sự khác biệt chính giữa GRU và LSTM là GRU có hai cổng (cổng đặt lại và cập nhật ) trong khi LSTM có ba cổng (cụ thể là cổng đầu vào , đầu ra và cổng quên ). Tại sao chúng ta sử dụng GRU khi chúng ta rõ …

95 neural-network deep-learning

8

Chọn tỷ lệ học tập

Tôi hiện đang làm việc để thực hiện Stochastic Gradient Descent, SGDđối với các mạng lưới thần kinh sử dụng phương pháp truyền ngược và trong khi tôi hiểu mục đích của nó, tôi có một số câu hỏi về cách chọn giá trị cho tốc độ học tập. Là …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Làm thế nào để bạn hình dung kiến trúc mạng thần kinh?

Khi viết một bài báo / thuyết trình về một chủ đề liên quan đến mạng lưới thần kinh, người ta thường hình dung kiến trúc mạng. Những cách tốt / đơn giản để tự động hình dung các kiến trúc phổ biến là gì?

79 machine-learning neural-network deep-learning visualization

5

Làm thế nào để vẽ sơ đồ kiến trúc mạng Deep learning?

Tôi đã xây dựng mô hình của tôi. Bây giờ tôi muốn vẽ sơ đồ kiến trúc mạng cho bài nghiên cứu của mình. Ví dụ được hiển thị dưới đây:

78 machine-learning neural-network deep-learning svm software-recommendation

5

Dự đoán chuỗi thời gian bằng ARIMA vs LSTM

Vấn đề mà tôi đang giải quyết là dự đoán các giá trị chuỗi thời gian. Tôi đang xem xét một chuỗi thời gian một lần và dựa trên 15% dữ liệu đầu vào, tôi muốn dự đoán các giá trị trong tương lai của nó. Cho đến nay tôi …

64 time-series deep-learning rnn prediction

2

Khi nào nên sử dụng (He hoặc Glorot) khởi tạo bình thường trên đồng phục init? Và tác dụng của nó với Batch Normalization là gì?

Tôi biết rằng Mạng dư (ResNet) khiến cho việc khởi tạo bình thường trở nên phổ biến. Trong ResNet, He khởi tạo bình thường được sử dụng , trong khi lớp đầu tiên sử dụng khởi tạo thống nhất He. Tôi đã xem qua giấy ResNet và giấy "Đi sâu …

51 neural-network deep-learning normalization

3

Làm thế nào để chống lại sự thiếu hụt trong một mạng lưới thần kinh sâu

Khi tôi bắt đầu với mạng lưới thần kinh nhân tạo (NN), tôi nghĩ rằng tôi phải chiến đấu với tình trạng quá mức là vấn đề chính. Nhưng trong thực tế, tôi thậm chí không thể khiến NN của mình vượt qua rào cản tỷ lệ lỗi 20%. Tôi …

50 neural-network deep-learning

3

Số lượng tham số trong mô hình LSTM

Một LSTM xếp chồng có bao nhiêu tham số? Số lượng tham số áp đặt giới hạn thấp hơn về số lượng ví dụ đào tạo cần thiết và cũng ảnh hưởng đến thời gian đào tạo. Do đó biết số lượng tham số là hữu ích cho các mô …

43 deep-learning rnn

4

Thêm tính năng cho mô hình chuỗi thời gian LSTM

đã đọc một chút về LSTM và việc sử dụng chúng cho chuỗi thời gian và điều đó thật thú vị nhưng khó khăn cùng một lúc. Một điều tôi gặp khó khăn với sự hiểu biết là cách tiếp cận để thêm các tính năng bổ sung vào danh …

42 machine-learning neural-network deep-learning time-series

4

Tại sao kích thước lô nhỏ tốt hơn một lô ĐỔI đơn lẻ với tất cả dữ liệu đào tạo?

Tôi thường đọc rằng trong trường hợp các mô hình Deep Learning, thực tế thông thường là áp dụng các đợt nhỏ (thường là một đợt nhỏ, 32/64) trong một số kỷ nguyên đào tạo. Tôi thực sự không thể hiểu được lý do đằng sau này. Trừ khi tôi …

40 machine-learning deep-learning

3

Liệu batch_size trong Keras có ảnh hưởng gì đến chất lượng của kết quả không?

Tôi sắp huấn luyện một mạng LSTM lớn với 2-3 triệu bài viết và đang phải vật lộn với Lỗi bộ nhớ (Tôi sử dụng AWS EC2 g2x2large). Tôi phát hiện ra rằng một giải pháp là giảm batch_size. Tuy nhiên, tôi không chắc chắn nếu tham số này chỉ …

38 deep-learning keras

3

Sự khác biệt giữa dịch tương đương giữa dịch và dịch bất biến

Tôi gặp khó khăn trong việc hiểu sự khác biệt giữa tương đương với dịch thuật và bất biến đối với dịch thuật . Trong cuốn sách Học sâu . MIT Press, 2016 (I. Goodfellow, A. Courville và Y. Bengio), người ta có thể tìm thấy trên các mạng chập: …

38 neural-network deep-learning convolution

13

Dữ liệu khoa học liên quan đến trích dẫn hài hước

Nó đã được thông thường cho người dùng của các cộng đồng khác nhau để trích dẫn những điều hài hước về các lĩnh vực của họ. Có thể rất vui khi chia sẻ những điều thú vị của bạn về Machine Learning, Deep Learning, Data Science và những điều …

35 machine-learning neural-network deep-learning

6

Giải thích mất entropy chéo

Giả sử tôi xây dựng một NN để phân loại. Lớp cuối cùng là một lớp dày đặc với kích hoạt softmax. Tôi có năm lớp khác nhau để phân loại. Giả sử cho một ví dụ đào tạo duy nhất, đó true labellà [1 0 0 0 0]trong khi …

35 machine-learning deep-learning

Câu hỏi được gắn thẻ «deep-learning»