5 năm sau, các mạng tối đa đã chết, và tại sao?

Mạng tối đa là một ý tưởng đơn giản nhưng tuyệt vời của Goodfellow et al. từ năm 2013 đến bản đồ tính năng tối đa để có được một xấp xỉ phổ quát của kích hoạt lồi. Thiết kế được thiết kế để sử dụng kết hợp với bỏ học (sau đó được giới thiệu gần đây) và tất nhiên là kết quả hiện đại về các điểm chuẩn như CIFAR-10 và SVHN.

Năm năm sau, bỏ học chắc chắn vẫn còn trong trò chơi, nhưng còn maxout thì sao? Bài báo vẫn được trích dẫn rộng rãi trong các bài báo gần đây theo Google Scholar, nhưng dường như hầu như không có ai thực sự sử dụng kỹ thuật này.

Vì vậy, tối đa là một điều của quá khứ, và nếu vậy, tại sao - điều gì làm cho nó trở thành một biểu diễn hàng đầu trong năm 2013 nhưng không phải trong năm 2018?

Về cơ bản, nếu bạn đọc toàn bộ bài viết (đặc biệt là phần tóm tắt và phần 7), bạn sẽ thấy rằng thành tựu chính vẫn là một đóng góp nhỏ trên đỉnh của học sinh bỏ học.

Nếu bạn thấy kết quả thực nghiệm trên Bảng 5 (của trang 5) của bài báo gốc của maxout , bạn thấy rằng tỷ lệ phân loại sai chỉ thấp hơn rất nhiều so với tỷ lệ bỏ học. (2,47% thay vì 2,78%)

Điều đó có thể giải thích sự quan tâm tương đối thấp hơn trong công việc.