Nút thắt của việc áp dụng học tập sâu vào thực tế

Sau khi đọc rất nhiều bài học sâu, một loại cảm giác khó chịu là tồn tại rất nhiều thủ thuật trong việc đào tạo mạng để có được hiệu suất tốt hơn bình thường. Từ góc độ ứng dụng công nghiệp, rất khó để phát triển loại thủ thuật này ngoại trừ những nhóm nghiên cứu ưu tú trong các công ty công nghệ lớn, ví dụ: google hoặc facebook. Vậy thì cách tốt nhất để áp dụng các thuật toán học sâu trong thực tế là gì. Bất kỳ suy nghĩ và đề xuất sẽ được đánh giá cao.

Đúng, một số chi tiết được sử dụng để cải thiện hiệu suất được coi là thủ thuật và bạn sẽ không biết liệu những thủ thuật này có mang lại sự cải thiện tương tự cho dữ liệu của bạn và mạng của bạn hay không.

Một số thứ mà bạn chắc chắn sẽ cần:

• Dữ liệu , rất nhiều
• GPU sẽ cho phép bạn chạy thử nghiệm nhanh hơn và thử nhiều thứ hơn trong khoảng thời gian ngắn hơn.
• Học phân tích đường cong. Cuối cùng, nó liên quan đến hiệu suất trên tập kiểm tra, nhưng nhìn vào cả số liệu đào tạo và kiểm tra, bạn có thể xác định lý do cho hiệu suất kém. Sự thiên vị mạnh mẽ? Quá mức từ quá nhiều nút ẩn?
• Các chức năng kích hoạt . Tôi không nghĩ nó được coi là một mẹo để biết bạn cần loại chức năng kích hoạt nào. ReLU có một đặc điểm quan trọng ở chỗ chúng không bão hòa như sigmoids và tanh. Một nơ-ron với ReLU sẽ có đầu ra giống như xác suất, nhưng dù sao bạn cũng không cần điều này cho các nơ-ron ở các lớp trung cấp. Ưu điểm bạn nhận được là giảm thiểu sự biến mất hoặc bùng nổ của độ dốc và tăng tốc độ hội tụ.
• Chính quy hóa . Có thể áp dụng như các thủ thuật, nhưng nếu bạn đang sử dụng bất kỳ thư viện học tập chính thống nào, bạn có thể nhận các triển khai thực hiện để chuẩn hóa thông qua bỏ học.
• Tăng dữ liệu. Về cơ bản, bạn đang mở rộng tập dữ liệu của mình mà không phải trả thêm chi phí cho chú thích thủ công. Điều quan trọng là làm tăng dữ liệu bằng các phép biến đổi có ý nghĩa. Vì vậy, mạng sẽ thấy các biến thể của dữ liệu mà nó có thể gặp phải trong giai đoạn thử nghiệm hoặc khi nó được triển khai vào sản phẩm. Đối với dữ liệu trực quan, lật ngang là chuyện nhỏ và tăng thêm nhiều lợi ích. Jitter có lẽ phụ thuộc vào loại dữ liệu và mức độ ồn của nó.
• Đi sâu vào khám phá siêu tham số có thể gây bực bội. Bắt đầu với các mạng nhỏ và quy trình đào tạo đơn giản. Mạng nhỏ hơn là nhanh hơn để đào tạo. Thêm nhiều lớp hơn khi bạn thấy dấu hiệu của quá mức.
• Khởi tạo tốt . Intitialization ngẫu nhiên là thích hợp để đánh giá khả năng hội tụ của mạng nhưng sẽ không nhất thiết dẫn đến hiệu suất tối ưu. Đồng thời, chỉ cần lặp đi lặp lại có thể dẫn đến mạng quá mức cho dữ liệu đào tạo. Nếu có thể, hãy sử dụng một mạng được đào tạo trước đã học một đại diện và tinh chỉnh nó vào tập dữ liệu của bạn. Đào tạo trước không được giám sát là một cách khác để đi và có thể cho phép quy trình đào tạo được giám sát bắt đầu từ một vị trí hứa hẹn hơn nhiều trong không gian trọng lượng.
• Rà soátthủ thuật. Hiểu những gì các mẹo thực sự làm. Một bài viết mô tả một chi tiết nhỏ được sử dụng để cải thiện hiệu suất của mạng sẽ tập trung vào khía cạnh mới đó. Bài viết có thể là một phần của chuỗi các dự án mà các tác giả đang thực hiện. Bối cảnh của mánh khóe có thể không phải lúc nào cũng rõ ràng ngay lập tức nhưng đối với các tác giả, đó không phải là một mánh khóe mà là một kỹ thuật giải quyết vấn đề mà họ gặp phải. Đôi khi một kỹ thuật xuất hiện và được coi là một mẹo và sau đó ai đó sẽ phân tích tác động của nó và mô tả chức năng của nó. Ví dụ, thủ thuật này tương đương với chính quy L2 mà nhiều người quen thuộc hơn. Chúng ta có thể quyết định xem chúng ta nên thử kỹ thuật mới này hay tuân theo quy tắc L2 mà chúng ta đã biết. Rất nhiều những mánh khóe này cố gắng giải quyết các vấn đề trong học tập sâu, như nguy cơ thừa, tính toán tốn kém, quá mức tham số hóa và trọng lượng dư thừa cao. Thật đáng để dành thời gian để hiểu những thủ thuật này thực sự làm gì. Bằng cách hiểu vấn đề họ cố gắng giải quyết, chúng ta có thể đánh giá khả năng áp dụng các thủ thuật khác nhau và chọn một thủ thuật hoạt động tốt với các ràng buộc mà chúng ta có thể có (ví dụ như sức mạnh tính toán nhỏ, tập dữ liệu nhỏ)

Dưới đây là một cuốn sách thú vị Neural Networks: Tricks of the Trade , phiên bản 2012 được cập nhật của cuốn sách. Rất nhiều bài viết của một số người tiên phong của mạng lưới thần kinh.

ypx rất cảm động về rất nhiều vấn đề thực tế với đào tạo, vì vậy để chạm vào những vấn đề khác mà bạn nêu ra: rất nhiều phòng thí nghiệm công nghiệp ưu tú vẫn công bố kết quả của họ. Ví dụ, nhóm của Microsoft Research vừa giành được ImageNet 2015 và họ đã phát hành một báo cáo kỹ thuật mô tả mô-đun mạng sâu mới của họ: Học tập sâu để nhận dạng hình ảnh , nhóm của Google cũng đã xuất bản kiến ​​trúc Inception của họ, Đi sâu hơn với thuyết phục . Ở một mức độ không tầm thường, vẫn có một văn hóa trong học máy (bây giờ) về việc chia sẻ những đổi mới lớn. Có thể vì khóa là quyền truy cập vào dữ liệu. Google và Facebook chỉ đơn giản là có quyền truy cập vào dữ liệu mà chúng tôi không có. Khó có thể nói bao nhiêu tín dụng dành cho đổi mới thuật toán thô và bao nhiêu đi vào lượng dữ liệu khổng lồ.

Liên quan đến những gì sẽ xảy ra trong tương lai? Khó nói. Đây là một vấn đề mà nhiều người đã nêu ra khi các công ty điều khiển dữ liệu này trở nên có giá trị và mức độ cạnh tranh của thị trường. Nhưng hiện tại, tôi nghĩ có một sự cân bằng đủ tốt về những gì các phòng thí nghiệm nghiên cứu công nghiệp chia sẻ và không chia sẻ. Tôi hiểu họ không chia sẻ việc thực thi mã chính xác của họ. Nhưng họ chia sẻ một số đổi mới rất mới lạ.

Tìm các nhà nghiên cứu công bố kết quả quan trọng và đọc, đọc, đọc. Tôi tin vào AMA của Yann LeCun trên Reddit, anh ấy đã đề cập rằng anh ấy là một độc giả phàm ăn. Tôi tin rằng đây là điều quan trọng nhất. Và trong phạm vi thực tế, hãy thử tạo lại điểm chuẩn của họ hoặc áp dụng phương pháp của họ cho bộ dữ liệu nằm trong ngân sách của bạn.

Tôi nghĩ bất kể bạn đang ở đâu hoặc trạm của bạn trong cuộc sống là gì, đây là cách tốt nhất để giữ sắc nét và tiếp tục phát triển các kỹ năng của bạn. Hãy là một người đọc phàm ăn và thực hiện mọi thứ và xây dựng trực giác. Cá nhân tôi không có tài nguyên để tham gia các cuộc thi ImageNet, nhưng đọc tất cả các bài viết hiệu quả hàng đầu của nhóm ImageNet đã giúp tôi rất nhiều.