Ảnh hưởng của việc không thay đổi trọng lượng bộ lọc của CNN trong quá trình backprop

Ảnh hưởng của việc KHÔNG thay đổi trọng lượng bộ lọc của CNN trong quá trình truyền ngược là gì? Tôi chỉ thay đổi trọng lượng lớp được kết nối đầy đủ trong khi đào tạo về bộ dữ liệu MNIST và vẫn đạt được độ chính xác gần như 99%.

machine-learning cnn mnist

— Abhisek Dash
nguồn

Thật thú vị, bạn đã bắt đầu với các trọng số ngẫu nhiên hay sử dụng các trọng số từ một số mạng trước đó? Ngoài ra là thước đo chính xác của bạn từ tập huấn luyện, hoặc từ tập kiểm tra giữ?

— Neil Slater

@Neil Slater: Tôi bắt đầu với các trọng số gaussian ngẫu nhiên. Biện pháp chính xác là trên bộ kiểm tra.

— Abhisek Dash

@Neil Slater: Độ chính xác gần như giữ nguyên ngay cả với các lần khởi tạo khác nhau của các bộ lọc. Tôi đã sử dụng 2 lớp tích chập và tối đa và một lớp FC với 256 nơ-ron ẩn

— Abhisek Dash

Bằng cách không thay đổi trọng số của các lớp chập của CNN, về cơ bản, bạn đang cung cấp cho các tính năng ngẫu nhiên của lớp phân loại (lớp được kết nối đầy đủ) (nghĩa là không phải là các tính năng tối ưu cho nhiệm vụ phân loại trong tay).

MNIST là một nhiệm vụ phân loại hình ảnh đủ dễ dàng để bạn có thể cung cấp khá nhiều pixel đầu vào cho một bộ phân loại mà không cần bất kỳ trích xuất tính năng nào và nó vẫn sẽ ghi điểm trong những năm 90 cao. Bên cạnh đó, có lẽ các lớp gộp giúp một chút ...

Hãy thử đào tạo một MLP (không có lớp đối lưu / nhóm) trên hình ảnh đầu vào và xem thứ hạng của nó. Dưới đây là một ví dụ trong đó MLP (1 lớp ẩn & 1 lớp đầu ra) đạt 98 +% mà không cần bất kỳ trích xuất tiền xử lý / tính năng nào.

— Djib2011
nguồn