Tại sao điều quan trọng là bao gồm một thuật ngữ điều chỉnh sai lệch cho trình tối ưu hóa Adam cho Deep Learning?

Tôi đang đọc về trình tối ưu hóa Adam cho Deep Learning và tình cờ thấy câu sau trong cuốn sách mới Deep Learning của Begnio, Goodfellow và Courtville:

Adam bao gồm các hiệu chỉnh sai lệch cho các ước tính của cả các khoảnh khắc thứ tự đầu tiên (thời hạn động lượng) và các khoảnh khắc thứ hai (không được kiểm duyệt) để giải thích cho việc khởi tạo của chúng tại điểm gốc.

có vẻ như lý do chính để bao gồm các thuật ngữ điều chỉnh sai lệch này là bằng cách nào đó nó loại bỏ sự thiên vị của việc khởi tạo $m_t = 0$ và $v_t = 0$ .

• Tôi không chắc chắn 100% điều đó có nghĩa là gì nhưng dường như điều đó có nghĩa là khoảnh khắc thứ 1 và thứ 2 bắt đầu từ 0 và bằng cách nào đó bắt đầu từ 0, các giá trị gần bằng 0 theo cách không công bằng (hoặc hữu ích) cho đào tạo ?
• Mặc dù tôi rất muốn biết điều đó có nghĩa chính xác hơn một chút và điều đó làm hỏng việc học như thế nào. Cụ thể, những ưu điểm nào của việc không tối ưu hóa trình tối ưu hóa có được về mặt tối ưu hóa?
• Làm thế nào điều này giúp đào tạo các mô hình học tập sâu?
• Ngoài ra, nó có nghĩa gì khi không thiên vị? Tôi quen thuộc với độ lệch chuẩn không thiên vị nghĩa là gì nhưng tôi không rõ ý nghĩa của nó trong bối cảnh này.
• Là sự điều chỉnh sai lệch thực sự là một vấn đề lớn hay đó là một cái gì đó vượt quá trong bài báo tối ưu hóa Adam?

Để mọi người biết tôi đã rất cố gắng để hiểu bài báo gốc nhưng tôi đã rất ít đọc và đọc lại bài báo gốc. Tôi cho rằng một số câu hỏi này có thể được trả lời ở đó nhưng tôi dường như không thể phân tích các câu trả lời.

Vấn đề KHÔNG sửa sai lệch
Theo bài báo.

Trong trường hợp độ dốc thưa thớt, để ước tính đáng tin cậy về khoảnh khắc thứ hai, người ta cần tính trung bình trên nhiều độ dốc bằng cách chọn một giá trị nhỏ β2; tuy nhiên, đây chính xác là trường hợp nhỏ β2 trong đó việc thiếu hiệu chỉnh sai lệch khởi tạo sẽ dẫn đến các bước ban đầu lớn hơn nhiều.

$\beta_2$$\beta_1$$\beta_2=0.999$$\beta_1=0.9$$1-\beta_2=0.001$$1-\beta_1=0.1$

$m_1=0.1g_t$$v_1=0.001g_t^2$$m_1/(\sqrt{v_1}+\epsilon)$

$\hat{m_1}=g_1$$\hat{v_1}=g_1^2$$\hat{m_t}/(\sqrt{\hat{v_t}}+\epsilon)$$\beta_1$$\beta_2$

$m_0$$m_t=\beta m_{t-1}+(1-\beta)g_t$$m_0$

$m_1=\beta m_0+(1-\beta)g_t$$\beta m_0$$m_1$$(1-\beta)$$\hat{m_1}=(m_1- \beta m_0)/(1-\beta)$$m_0=0$$\hat{m_t}=m_t/(1-\beta^t)$

Như Mark L. Stone đã nhận xét tốt

Nó giống như nhân với 2 (oh my, kết quả là sai lệch), và sau đó chia cho 2 để "sửa" nó.

Bằng cách nào đó, điều này không chính xác tương đương với

gradient tại điểm ban đầu được sử dụng cho các giá trị ban đầu của những điều này, và sau đó cập nhật tham số đầu tiên

(tất nhiên nó có thể được chuyển thành dạng tương tự bằng cách thay đổi quy tắc cập nhật (xem bản cập nhật của câu trả lời) và tôi tin rằng dòng này chủ yếu nhằm thể hiện sự không cần thiết của việc giới thiệu sai lệch, nhưng có lẽ nó đáng chú ý sự khác biệt)

Ví dụ: khoảnh khắc đầu tiên được sửa ở lần 2

$g_1$

Là sự điều chỉnh thiên vị thực sự là một vấn đề lớn
vì nó chỉ thực sự ảnh hưởng đến vài bước đầu tiên đào tạo, nó không có vẻ như một vấn đề rất lớn, trong nhiều khuôn khổ phổ biến (ví dụ keras , caffe ) chỉ lập dự toán sai lệch được thực hiện.

$\epsilon$

$\hat{m}_t$

$m_1\leftarrow g_1$

$\qquad m_t\leftarrow \beta m_t + g_t$
$\qquad \hat{m}_t\leftarrow \dfrac{(1-\beta)m_t}{1-\beta^t}$

Do đó, nó có thể được thực hiện mà không cần đưa ra một thuật ngữ sai lệch và sửa nó. Tôi nghĩ rằng bài báo đã đặt nó ở dạng hiệu chỉnh sai lệch để thuận tiện cho việc so sánh với các thuật toán khác (ví dụ RmsProp).