Có bất kỳ vấn đề học tập có giám sát nào mà mạng lưới thần kinh (sâu) rõ ràng không thể vượt trội hơn bất kỳ phương pháp nào khác không?

Tôi đã thấy mọi người đã nỗ lực rất nhiều cho SVM và Kernels, và họ trông khá thú vị khi là người khởi đầu trong Machine Learning. Nhưng nếu chúng ta mong đợi rằng hầu như luôn luôn chúng ta có thể tìm ra giải pháp vượt trội về mặt Mạng lưới thần kinh (sâu), thì ý nghĩa của việc thử các phương pháp khác trong thời đại này là gì?

Đây là hạn chế của tôi về chủ đề này.

1. Chúng tôi nghĩ rằng chỉ có học tập giám sát; Hồi quy, và phân loại.
2. Tính dễ đọc của Kết quả không được tính; chỉ tính chính xác của vấn đề học tập được giám sát.
3. Tính toán - Chi phí không được xem xét.
4. Tôi không nói rằng bất kỳ phương pháp nào khác là vô ích.

Đây là một lý do và hai lý do thực tế tại sao một người nào đó có thể thích hợp một cách tiếp cận phi DNN.

1. Định lý ăn trưa miễn phí từ Wolpert và Mac đã nói

   Chúng tôi đã đặt tên cho các định lý NFL kết quả liên quan bởi vì chúng chứng minh rằng nếu một thuật toán thực hiện tốt trên một loại vấn đề nhất định thì nó nhất thiết phải trả cho điều đó với hiệu suất bị suy giảm trên tập hợp tất cả các vấn đề còn lại.

   Nói cách khác, không có thuật toán duy nhất nào thống trị tất cả; bạn đã đạt điểm chuẩn.

   Các bác bỏ rõ ràng ở đây là bạn thường không quan tâm đến tất cả các vấn đề có thể, và học sâu dường như hoạt động tốt trên nhiều loại vấn đề mà mọi người làm chăm sóc về (ví dụ, nhận dạng đối tượng), và vì vậy nó là một đầu tiên / chỉ lựa chọn hợp lý cho các ứng dụng khác trong các lĩnh vực đó.

2. Nhiều trong số các mạng rất sâu này đòi hỏi hàng tấn dữ liệu, cũng như hàng tấn tính toán, để phù hợp. Nếu bạn có (ví dụ) 500 ví dụ, một mạng hai mươi lớp sẽ không bao giờ học tốt, trong khi có thể phù hợp với một mô hình đơn giản hơn nhiều. Có một số vấn đề đáng ngạc nhiên khi việc thu thập hàng tấn dữ liệu là không khả thi. Mặt khác, người ta có thể thử học cách giải quyết một vấn đề liên quan (nơi có nhiều dữ liệu hơn), sử dụng một cái gì đó như học chuyển để thích ứng với nhiệm vụ sẵn có dữ liệu thấp cụ thể.

3. Mạng lưới thần kinh sâu cũng có thể có chế độ thất bại bất thường. Có một số bài báo cho thấy những thay đổi gần như không thể nhận biết của con người có thể khiến một mạng bị lật từ việc phân loại chính xác một hình ảnh để tự tin phân loại sai nó. (Xem ở đây và bài báo kèm theo của Szegedy và cộng sự) Các cách tiếp cận khác có thể mạnh mẽ hơn để chống lại điều này: có các cuộc tấn công đầu độc chống lại SVM (ví dụ, điều này của Biggio, Nelson và Laskov), nhưng những điều đó xảy ra trên tàu, thay vì thử nghiệm thời gian. Ở thái cực ngược lại, có giới hạn hiệu suất đã biết (nhưng không lớn) cho thuật toán lân cận gần nhất. Trong một số tình huống, bạn có thể hạnh phúc hơn với hiệu suất tổng thể thấp hơn với ít cơ hội thảm họa hơn.

Ở đâu đó trong danh sách bài giảng này của Geoff Hinton (từ khóa học Coursera của ông trên các mạng thần kinh), có một phân đoạn mà ông nói về hai loại vấn đề:

1. Các vấn đề trong đó tiếng ồn là tính năng chính,
2. Vấn đề trong đó tín hiệu là tính năng chính.

Tôi nhớ lời giải thích rằng trong khi mạng lưới thần kinh phát triển mạnh trong không gian sau này, các phương pháp thống kê truyền thống thường phù hợp hơn với phương pháp trước. Phân tích các bức ảnh kỹ thuật số độ phân giải cao của những thứ thực tế trên thế giới, một nơi mà lưới chập sâu vượt trội, rõ ràng cấu thành cái sau.

Mặt khác, khi tiếng ồn là tính năng vượt trội, ví dụ, trong một nghiên cứu kiểm soát trường hợp y tế với 50 trường hợp và 50 điều khiển, các phương pháp thống kê truyền thống có thể phù hợp hơn với vấn đề.

Nếu bất cứ ai tìm thấy video đó, xin vui lòng bình luận và tôi sẽ cập nhật.

Hai biến tương quan hoàn hảo tuyến tính. Liệu mạng lưới sâu với 1 triệu lớp ẩn và 2 nghìn tỷ neutron có thể đánh bại hồi quy tuyến tính đơn giản?

EDITED

Theo kinh nghiệm của tôi, bộ sưu tập mẫu đắt hơn tính toán. Ý tôi là, chúng tôi chỉ có thể thuê một số trường hợp trên Amazon, chạy đào tạo học tập sâu và sau đó quay lại vài ngày sau đó. Chi phí trong lĩnh vực của tôi là khoảng 200 USD. Chi phí là tối thiểu. Đồng nghiệp của tôi kiếm được nhiều hơn thế trong một ngày.

Bộ sưu tập mẫu thường đòi hỏi kiến ​​thức miền và thiết bị chuyên dụng. Deep learning chỉ phù hợp với các vấn đề với bộ dữ liệu truy cập dễ dàng và rẻ tiền, chẳng hạn như xử lý ngôn ngữ tự nhiên, xử lý hình ảnh và bất cứ điều gì bạn có thể loại bỏ khỏi Internet.