Sự khác biệt giữa giảm cân thần kinh và tốc độ học tập

Trong bối cảnh của các mạng lưới thần kinh, sự khác biệt giữa tốc độ học tập và giảm cân là gì?

neural-networks terminology

— Ryan Zotti
nguồn

Câu trả lời:

161

Tốc độ học tập là một tham số xác định mức độ bước cập nhật ảnh hưởng đến giá trị hiện tại của các trọng số. Trong khi phân rã trọng lượng là một thuật ngữ bổ sung trong quy tắc cập nhật trọng lượng làm cho các trọng số phân rã theo cấp số nhân về 0, nếu không có cập nhật nào khác được lên lịch.

Vì vậy, giả sử rằng chúng ta có hàm chi phí hoặc lỗi mà chúng ta muốn giảm thiểu. Giảm dần độ dốc cho chúng ta sửa đổi các trọng số theo hướng đi xuống dốc nhất trong : trong đó là tốc độ học tập và nếu nó lớn, bạn sẽ có một sự điều chỉnh lớn tương ứng của các trọng số (nói chung nó không nên quá lớn, nếu không bạn sẽ vượt quá mức tối thiểu cục bộ trong hàm chi phí của bạn). $E(\mathbf{w})$ $\mathbf{w}$ $E$

w_{i} \leftarrow w_{i} - η \frac{\partial E}{\partial w_{i}},

$\begin{equation} w_i \leftarrow w_i-\eta\frac{\partial E}{\partial w_i}, \end{equation}$

η

$\eta$

w_{i}

$w_i$

Để hạn chế hiệu quả số lượng tham số miễn phí trong mô hình của bạn để tránh phù hợp quá mức, có thể thường xuyên hóa hàm chi phí. Một cách dễ dàng để làm điều đó là bằng cách đưa ra một Gaussian trung bình bằng 0 trước các trọng số, tương đương với việc thay đổi hàm chi phí thành . Trong thực tế, điều này phạt trọng lượng lớn và hạn chế hiệu quả sự tự do trong mô hình của bạn. Tham số chính quy xác định cách bạn đánh đổi chi phí ban đầu với hình phạt trọng số lớn. $\widetilde{E}(\mathbf{w})=E(\mathbf{w})+\frac{\lambda}{2}\mathbf{w}^2$ $\lambda$ $E$

Áp dụng độ dốc giảm dần cho hàm chi phí mới này, chúng tôi có được: Thuật ngữ mới xuất phát từ chính quy làm cho trọng lượng phân rã tỷ lệ với kích thước của nó.

w_{i} \leftarrow w_{i} - η \frac{\partial E}{\partial w_{i}} - η λ w_{i} .

$\begin{equation} w_i \leftarrow w_i-\eta\frac{\partial E}{\partial w_i}-\eta\lambda w_i. \end{equation}$

- η λ w_{i}

$-\eta\lambda w_i$

— mours
nguồn

Cảm ơn lời giải thích hữu ích. Một câu hỏi: trong gói R "nnet" có một tham số được sử dụng trong quá trình huấn luyện mạng thần kinh gọi là "phân rã". Bạn có biết nếu sâu răng tương ứng với lambda của bạn hoặc eta * lambda của bạn?

— Andrea Ianni

Tôi cũng sẽ thêm rằng phân rã trọng lượng là điều tương tự như chính quy L2 cho những người quen thuộc sau này.

— Sergei

@Sergei xin vui lòng không, ngừng lan truyền thông tin sai lệch này! Điều này chỉ đúng trong trường hợp rất đặc biệt của vani SGD. Xem phần giảm trọng lượng sửa chữa cho giấy Adam .

— LucasB

Để làm rõ: tại thời điểm viết, các tài liệu PyTorch cho Adam sử dụng thuật ngữ "phân rã trọng lượng" (gọi là "hình phạt L2") để chỉ những gì tôi nghĩ rằng các tác giả gọi là quy định L2. Nếu tôi hiểu chính xác, câu trả lời này đề cập đến SGD không có động lượng, trong đó hai câu tương đương.

— Dylan F

Ngoài câu trả lời của @ mrig (+1), đối với nhiều ứng dụng thực tế của mạng nơ-ron, tốt hơn là sử dụng thuật toán tối ưu hóa tiên tiến hơn, chẳng hạn như Levenberg-Marquest (mạng cỡ nhỏ) hoặc giảm độ dốc liên hợp tỷ lệ (trung bình lớn mạng), vì các mạng này sẽ nhanh hơn nhiều và không cần thiết lập tốc độ học (cả hai thuật toán về cơ bản điều chỉnh tốc độ học bằng cách sử dụng độ cong cũng như độ dốc). Bất kỳ gói hoặc thư viện mạng thần kinh phong nha nào cũng sẽ có triển khai một trong những phương pháp này, bất kỳ gói nào không có lẽ đã lỗi thời. Tôi sử dụng NETLAB libary cho MATLAB, đây là một bộ công cụ tuyệt vời.

— Sao Hỏa Dikran
nguồn

Điều gì về các thuật toán tối ưu hóa dựa trên Rprop? Làm thế nào để họ xếp chồng lên nhau?

— sức mạnh

Tôi nghĩ rằng hầu hết mọi người đang sử dụng các biến thể của rprop + đà như RMSProp, adagrad, SGD + nesterov đà. Xem lớp cs231 .

— facuq

Vâng, tất nhiên nó phụ thuộc vào ứng dụng của bạn. Nhưng đối với các bộ dữ liệu / mạng lớn đang là xu hướng hiện nay, tôi nghĩ mọi người đang tìm những thuật toán mà tôi đề cập phù hợp hơn.

— facuq

@DikranMarsupial có thể là vì ngày nay (gần năm năm sau câu trả lời của bạn) mọi người có xu hướng sử dụng Adam thay thế?

— ComputerSellectist

Quả thực câu trả lời này rất lỗi thời. Các thuật toán này không thực tế với quy mô của các mô hình và bộ dữ liệu điển hình hiện nay và các gói được sử dụng rộng rãi nhất, chắc chắn không bị lỗi thời, thiếu các thuật toán này.

— LucasB

Tôi thuật ngữ đơn giản:

learning_rate: Nó kiểm soát mức độ nhanh hay chậm của một mô hình mạng thần kinh tìm hiểu một vấn đề.

ref: https://machinelearningmastery.com/learning-rate-for-deep-learning-neural-networks/

wight_decay: Đây là một kỹ thuật chính quy được sử dụng để tránh phù hợp quá mức.

ref: https://metacademy.org/graphs/con accept / weight_decay_neural_networks

— Ketan Vishwakarma
nguồn