Xấp xỉ bậc hai của hàm mất (Sách học sâu, 7.33)

Trong cuốn sách của Goodfellow (2016) về học tập sâu, ông đã nói về sự tương đương của việc dừng sớm với chính quy L2 ( https://www.deeplearningbook.org/contents/THERization.html trang 247).

Xấp xỉ bậc hai của hàm chi phí $j$ được cho bởi:

\hat{J} (θ) = J (w^{*}) + \frac{1}{2} (w - w^{*})^{T} H (w - w^{*})

$\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*)$

$H$

f (w + ϵ) = f (w) + f^{'} (w) \cdot ϵ + \frac{1}{2} f^{″} (w) \cdot ϵ^{2}

$f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2$

neural-networks deep-learning loss-functions derivative

— stevew
nguồn

Họ nói về trọng lượng tối ưu:

Chúng ta có thể mô hình hàm chi phí với một xấp xỉ bậc hai trong vùng lân cận giá trị tối ưu theo kinh nghiệm của các trọng số $J$ $w^∗$

Tại thời điểm đó, công cụ phái sinh đầu tiên là zero, do đó, trung hạn sẽ bị loại bỏ.

— Jan Kukacka
nguồn