Tại sao sử dụng độ dốc giảm dần với các mạng thần kinh?

1. Khi đào tạo một mạng lưới thần kinh bằng thuật toán lan truyền ngược, phương pháp giảm độ dốc được sử dụng để xác định các cập nhật trọng lượng. Câu hỏi của tôi là: Thay vì sử dụng phương pháp giảm độ dốc để từ từ xác định điểm tối thiểu theo trọng số nhất định, tại sao chúng ta không đặt đạo hàm , và tìm giá trị của trọng lượng mà giảm thiểu lỗi?$\frac{d(\text{Error})}{dw}=0$$w$

2. Ngoài ra, tại sao chúng tôi chắc chắn rằng chức năng lỗi trong lan truyền ngược sẽ là tối thiểu? Thay vào đó, chức năng lỗi có thể là tối đa không? Có một thuộc tính cụ thể nào của các hàm băm đảm bảo rằng một mạng có bất kỳ số nút ẩn nào có trọng số tùy ý và vectơ đầu vào sẽ luôn đưa ra một hàm lỗi có một số cực tiểu không?

1. Bởi vì chúng ta không thể. Bề mặt tối ưu hóa là một hàm của trọng số là phi tuyến và không có giải pháp dạng đóng nào tồn tại cho .$S(\mathbf{w})$d S ( w$\mathbf{w}$$\frac{d S(\mathbf{w})}{d\mathbf{w}}=0$

2. Gradient giảm dần, theo định nghĩa, giảm dần. Nếu bạn đạt đến điểm dừng sau khi giảm dần, nó phải là điểm tối thiểu (cục bộ) hoặc điểm yên ngựa, nhưng không bao giờ là điểm tối đa cục bộ.

Về câu trả lời của Marc Claesen, tôi tin rằng việc giảm độ dốc có thể dừng ở mức tối đa cục bộ trong các tình huống khi bạn khởi tạo đến mức tối đa cục bộ hoặc bạn tình cờ kết thúc ở đó do không may hoặc tham số tỷ lệ sai. Tối đa cục bộ sẽ có độ dốc bằng không và thuật toán sẽ nghĩ rằng nó đã hội tụ. Đây là lý do tại sao tôi thường chạy nhiều lần lặp từ các điểm bắt đầu khác nhau và theo dõi các giá trị trên đường đi.

Trong các phương pháp kiểu Newton, ở mỗi bước, người ta sẽ giải $\frac{d(\text{error})}{dw}=0$

• Người ta cần phải đối phó với các dẫn xuất thứ hai (Hessian, cụ thể là các sản phẩm vector Hessian).
• "Bước giải quyết" rất tốn kém về mặt tính toán: trong thời gian cần thiết để thực hiện một giải pháp, người ta có thể thực hiện nhiều lần lặp lại độ dốc.

Nếu một người sử dụng phương pháp Krylov cho giải quyết Hessian và người ta không sử dụng một điều kiện tiên quyết tốt cho Hessian, thì chi phí sẽ cân bằng gần hết - lặp đi lặp lại Newton mất nhiều thời gian hơn nhưng theo cách đó tổng thời gian là khoảng giống hoặc chậm hơn độ dốc gốc. Mặt khác, nếu một người có tiền đề Hessian tốt thì phương pháp của Newton thắng thời gian lớn.

Điều đó nói rằng, các phương pháp Newton-Krylov trong vùng tin cậy là tiêu chuẩn vàng trong tối ưu hóa quy mô lớn hiện đại và tôi chỉ mong đợi việc sử dụng chúng sẽ tăng lên trong mạng lưới thần kinh trong những năm tới vì mọi người muốn giải quyết các vấn đề lớn hơn và lớn hơn. (và cũng như nhiều người hơn trong tối ưu hóa số có hứng thú với học máy)