Là những thiếu sót của mạng lưới thần kinh giảm dần?

Đã làm việc với các mạng lưới thần kinh trong khoảng nửa năm, tôi đã trải nghiệm trực tiếp những gì thường được coi là nhược điểm chính của chúng, tức là quá mức và bị mắc kẹt trong cực tiểu địa phương. Tuy nhiên, thông qua tối ưu hóa siêu tham số và một số phương pháp mới được phát minh, những cách này đã được khắc phục cho các kịch bản của tôi. Từ thí nghiệm của riêng tôi:

• Bỏ học dường như là một phương pháp chính quy hóa rất tốt (cũng là một giả tạo giả?),
• Chuẩn hóa hàng loạt giúp giảm bớt việc đào tạo và giữ cường độ tín hiệu nhất quán trên nhiều lớp.
• Adadelta liên tục đạt đến tối ưu rất tốt

Tôi đã thử nghiệm triển khai SVM của SciKit cùng với các thử nghiệm của tôi với các mạng thần kinh, nhưng tôi thấy hiệu suất rất kém khi so sánh, ngay cả khi đã thực hiện tìm kiếm theo lưới cho siêu âm. Tôi nhận ra rằng có vô số phương thức khác và SVM có thể được coi là một lớp con của NN, nhưng vẫn còn.

Vì vậy, với câu hỏi của tôi:

Với tất cả các phương pháp mới hơn được nghiên cứu cho các mạng thần kinh, liệu chúng có chậm - hoặc chúng sẽ - trở nên "vượt trội" so với các phương pháp khác? Mạng lưới thần kinh có những nhược điểm của chúng, cũng như các mạng khác, nhưng với tất cả các phương pháp mới, những nhược điểm này có được giảm thiểu đến mức không đáng kể?

Tôi nhận ra rằng đôi khi "ít hơn nhiều" về độ phức tạp của mô hình, nhưng điều đó cũng có thể được kiến ​​trúc cho các mạng thần kinh. Ý tưởng "không ăn trưa miễn phí" cấm chúng ta cho rằng một phương pháp luôn luôn trị vì cấp trên. Chỉ là những thí nghiệm của riêng tôi - cùng với vô số bài báo về những màn trình diễn tuyệt vời từ nhiều NN khác nhau - chỉ ra rằng, ít nhất, có thể có một bữa trưa rất rẻ.

Mạng lưới thần kinh cũng có những lần đến ngắn khác.

1. Phải mất nhiều thời gian hơn và nhiều tài nguyên hơn để đào tạo một mạng lưới thần kinh hơn là một cái gì đó giống như một khu rừng ngẫu nhiên. Vì vậy, nếu bạn cần tốc độ đào tạo hoặc bị hạn chế về tài nguyên, có lẽ bạn không nên xem Mạng thần kinh trước. Đánh giá một NN sâu được đào tạo có thể tốn kém hơn nhiều so với các kỹ thuật cạnh tranh.
2. Nỗ lực liên quan đến việc học cách kiến ​​trúc sư và đào tạo NN vẫn cao hơn nhiều so với các phương pháp cạnh tranh, như một SVM. Những người mới bắt đầu vào Khoa học dữ liệu có lẽ nên sử dụng các kỹ thuật khác để tìm hiểu về các sắc thái của dữ liệu phù hợp trước khi tham gia vào các mạng thần kinh. Và mặc dù các NN đơn giản chỉ có một hoặc hai siêu đường kính thường có sẵn trong nhiều thư viện khoa học dữ liệu, chúng không thực hiện tốt hơn các kỹ thuật khác, vì vậy thực sự chỉ là một kỹ thuật hộp đen ML khác.
3. Mặc dù chúng tôi đã đạt được nhiều tiến bộ trong việc tìm hiểu làm thế nào các mạng lưới thần kinh thực hiện phép thuật của họ, chúng vẫn khó tiếp cận và phân tích hơn so với hầu hết các phương pháp cạnh tranh. Vì vậy, trong khi các NN có thể giải quyết vấn đề, họ có thể không cung cấp cho bạn nhiều thông tin chi tiết dễ dàng như các kỹ thuật khác làm.

Mong chờ những gì người khác nói ở đây.

Chỉ cần thêm vào những gì đã được nói trong câu trả lời xuất sắc của @ MikeWise,

• Tất cả mọi thứ đều bình đẳng, các mô hình học sâu thường xếp hạng tối cao khi so sánh với các thuật toán khác khi kích thước của tập dữ liệu tăng:

  

• Giống như mọi thứ, tất cả đều tập trung vào bộ dữ liệu trong tay, mạng lưới thần kinh tốt trên các bộ dữ liệu khác nhưng đồng thời, chúng sẽ xấu trên các bộ dữ liệu khác. Khi nói đến các vấn đề phi cấu trúc (ví dụ như hình ảnh, văn bản, âm thanh ), tại thời điểm này, mạng lưới thần kinh dường như là thuật toán tốt nhất. Điều đó nói rằng, khi nói đến dữ liệu có cấu trúc, việc quét nhanh loại thuật toán được sử dụng để giành chiến thắng trong các cuộc thi khoa học dữ liệu trực tuyến cho thấy rằng, thuật toán học máy như XGboost xếp hạng tối cao.

• Khi nói đến các mô hình khác, kỹ thuật tính năng đóng một vai trò lớn trong hiệu quả của thuật toán. Kỹ thuật tính năng nói chung là một điều khó khăn để làm và làm đúng. Các thuật toán học sâu không yêu cầu nhiều kỹ thuật tính năng (nếu có) so với các thuật toán khác, trên thực tế, chúng tự học các tính năng .

• Nếu những người Google nói rằng họ không thấy việc học sâu sắp tới thì ai sẽ loại trừ khả năng một số thuật toán được gọi là máy học xuất hiện và chiếm lĩnh thế giới bằng cơn bão?

• Dưới đây là một cuộc thăm dò về những gì nhà khoa học dữ liệu đã nói khi được hỏi: nếu học sâu phù hợp với sự cường điệu trong ứng dụng thế giới thực? .

• Ngay cả một số ứng dụng học sâu phổ biến như AlphaGo của Google cũng không học sâu 100% , thay vào đó chúng là một phần học sâu, một phần là "học máy" cũ. 2 xu của tôi là, có lẽ chúng ta không nên loại trừ các thuật toán học máy khác.