Các mạng lưới thần kinh tích chập hiện đại là gì?

Tôi muốn tìm hiểu kiến ​​trúc mạng thần kinh nào hiện là trạng thái của nghệ thuật (đôi khi viết tắt là "SOTA") đối với các tác vụ phân loại hình ảnh tiêu chuẩn như MNIST, STLN-10 và CIFAR. Đây là một thách thức vì kết quả mới được công bố thường xuyên và có thể khó theo kịp. Có tài nguyên hoặc trang web nào theo dõi kết quả tốt nhất cho các nhiệm vụ này không?

Một "bảng xếp hạng" các loại được duy trì tại trang web này, " Kết quả bộ dữ liệu phân loại ". Các nhà bảo trì cố gắng theo dõi các kết quả được công bố của các kiến ​​trúc mạng thần kinh khác nhau.

Bảng xếp hạng không chỉ giới hạn ở CNN mỗi se - bất kỳ mạng nào cũng được chấp nhận. Nhưng vì tất cả các tác vụ được theo dõi trên bảng xếp hạng đều là các tác vụ hình ảnh (khi viết bài này), có khả năng nhiều mạng sẽ là CNN vì chúng rất hiệu quả trong các tác vụ hình ảnh.

Gợi ý tốt nhất là từ shimao:

thông thường, bất kỳ bài báo mới nào tuyên bố hiệu suất tốt hoặc hiện đại về bất kỳ nhiệm vụ nào cũng sẽ có bảng kết quả khá toàn diện so với kết quả trước đó, đây có thể là cách tốt để theo dõi.

Bất kỳ bảng xếp hạng nào cũng sẽ sớm trở nên vô dụng, vì về cơ bản, chúng luôn được duy trì bởi các sinh viên (chưa tốt nghiệp / tốt nghiệp), những người ngừng cập nhật chúng ngay khi họ nhận được bằng cấp / công việc. Dù sao, nếu CIFAR-10 và CIFAR-100 đủ tốt cho bạn, thì điều này là khá tốt:

https://github.com/arunpatala/cifarSOTA

Cái này tổng quát hơn (bao gồm ImageNet) và nó có kết quả gần đây hơn:

https://github.com/Lextal/SotA-CV

Đây là cái tôi đã từng sử dụng, nhưng chủ sở hữu đã ngừng cập nhật nó, vì nó thường xảy ra:

https://github.com/RedditSota/state-of-the-art-result-for-machine-learning-probols/

Cuối cùng, bạn có thể quan tâm đến máy tính xách tay Jupyter này được Ali Rahimi phát hành ngày hôm nay, dựa trên dữ liệu được lấy từ LSVRC và trang web của COCO.

Một lưu ý cuối cùng: nếu bạn đang tìm kiếm kết quả mới nhất vì bạn muốn so sánh kết quả của mình với SotA, thật tuyệt. Tuy nhiên, nếu mục tiêu của bạn là áp dụng kiến ​​trúc tốt nhất trên YouTube trên ImageNet cho ứng dụng công nghiệp bằng cách học chuyển giao, bạn nên biết (nếu bạn chưa) rằng các kiến ​​trúc mới nhất còn tệ hơn , về mặt bất biến dịch thuật, so với các kiến trúc cũ . Đây là một rủi ro nếu tập dữ liệu của bạn không có sự thiên vị của nhiếp ảnh gia nếu bạn không có đủ tính toán và dữ liệu để đào tạo lại kiến ​​trúc trên một bản phân phối hình ảnh hữu ích hơn. Xem bản in xuất sắc:

Azulay & Weiss, 2018, nhiều hơn Tại sao các mạng chập sâu lại khái quát quá kém đến các biến đổi hình ảnh nhỏ?

DenseNet là sự kế thừa chung cho ResNet và đạt được 3,46% lỗi trên CIFAR-10 và 17,18 trên C-100. So sánh với 3,47 và 24,28 được đề cập trên bảng xếp hạng.

Shake-Shake , Shake-drop và có thể là các biến thể khác là các kỹ thuật chính quy có thể được sử dụng cho bất kỳ kiến ​​trúc nào giống ResNet và đạt được lỗi 2,86 / 2,31% trên C-10 và 15,85 / 12,19 trên C-100 (lắc-lắc / lắc- rơi vãi). Những kỹ thuật này chỉ hoạt động trên các kiến ​​trúc đa nhánh, đó là lý do tại sao tôi đề cập đến chúng mặc dù bản thân chúng không phải là kiến ​​trúc nghiêm ngặt.

Tìm kiếm kiến ​​trúc thần kinh hiệu quả (sử dụng học tăng cường để tìm kiếm kiến ​​trúc) tìm thấy một mạng đạt được lỗi 2,89% trên C-10, sử dụng kỹ thuật chính quy hóa Cutout . Hiệu suất là 3,54% mà không cắt bỏ.

Tóm lại: Dense Net và có thể một số mạng do ENAS sản xuất có thể hoạt động tốt hơn một chút so với ResNet, nhưng việc sử dụng các kỹ thuật chính quy hóa tinh vi khiến cho việc so sánh phải thừa nhận là khó khăn.

Tôi không biết bất kỳ bảng xếp hạng nào thực sự cập nhật, nhưng thông thường, bất kỳ bài báo mới nào tuyên bố hiệu suất tốt hoặc hiện đại về bất kỳ nhiệm vụ nào cũng sẽ có bảng kết quả khá toàn diện so với kết quả trước đó, có thể là cách tốt để theo dõi.

Để kiểm tra các kiến ​​trúc mạng nơ-ron hiện đại (và các mô hình học máy khác) trong các lĩnh vực ứng dụng khác nhau, hiện nay có một trang được gọi là paperwithcode .