1
Tại sao một ReLU không thể học ReLU?
Khi theo dõi mạng lưới thần kinh của tôi, tôi thậm chí không thể học được khoảng cách Euclide, tôi đã đơn giản hóa hơn nữa và cố gắng huấn luyện một ReLU duy nhất (với trọng lượng ngẫu nhiên) thành một ReLU duy nhất. Đây là mạng đơn giản …