Độ dốc của được xem trong không gian của Eigenvector của

Tôi đang đọc Why Momentum really Works , một bài đăng từ tạp chí chưng cất mới. Tôi sẽ diễn giải các phương trình chính dẫn đến phần làm tôi bối rối, bài viết mô tả trực giác chi tiết hơn.

Thuật toán giảm độ dốc được đưa ra bởi quá trình lặp sau trong đó là giá trị của lần lặp , tốc độ học tập là và là độ dốc của hàm đánh giá tại . Hàm bạn muốn giảm thiểu.

$$w^{k+1} = w^k-\alpha \nabla f(w^k)$$ $w^k$$k$$\alpha$$\nabla f(w)$$f$$w$$f$

Độ dốc gốc với động lượng được đưa ra bằng cách thêm "bộ nhớ" vào gốc, điều này được mô tả bởi cặp phương trình:

$$\begin{align} z^{k+1} &= \beta z^k + \nabla f(w^k) \\ w^{k+1} &= w^k - \alpha z^{k+1} \end{align}$$

Trong phần tiếp theo "Bước đầu tiên: Giảm dần độ dốc", tác giả đã xem xét hàm bậc hai lồi có gradient Nếu chúng ta giả sử là đối xứng và không thể đảo ngược thì có giải pháp tối ưu .

$$f(w) = \frac12w^TAw-b^Tw, \quad w \in \mathbb{R}^n, A \in \mathbb{R}^{n,n}$$ $$\nabla f(w) = Aw-b$$ $A$$f$$w^\star = A^{-1}b$

Nếu chúng ta sử dụng độ dốc gốc thì chúng ta sẽ lặp lại hướng tới giải pháp tối ưu này theo cách sau

$$\begin{align} w^{k+1} &= w^k - \alpha \nabla f(w) \\ &= w^k - \alpha (Aw^k -b) \end{align}$$

Sau đó, bài báo tiếp tục nói "Có một không gian rất tự nhiên để xem độ dốc giảm dần trong đó tất cả các kích thước hoạt động độc lập - các hàm riêng của ". Tôi nghĩ rằng điều này có ý nghĩa, mặc dù trực giác của tôi là loại mờ.$A$

Mọi ma trận đối xứng đều có phân rã giá trị riêng trong đó$A$

$$A = Q\text{diag}(\lambda_1,\ldots,\lambda_n)Q^T.$$

Trong đó và là vectơ với các hàm riêng tương ứng dưới dạng cột (phải không?).$\lambda_1 > \ldots > \lambda_n$$Q$

Phần tiếp theo này là nơi tôi không hiểu chuyện gì đang xảy ra:

Nếu chúng ta thực hiện thay đổi cơ sở, , các lần lặp lại bị phá vỡ, trở thành:$x^k = Q^T(w^k - w^\star)$

$$\begin{align} x_i^{k+1} &= x_i^k - \alpha \lambda_i x_i^k \\ &=(1-\alpha\lambda_i)x_i^k &= (1- \alpha\lambda_i)^{k+1}x_i^0 \end{align}$$

Di chuyển trở lại không gian ban đầu của chúng tôi , chúng ta có thể thấy rằng$w$

$$w^k - w^\star = Qx^k = \sum\limits_{i}^n = x_i^0(1-\alpha\lambda_i)^kq_i$$

Chuyện gì đang xảy ra ở đây? Đâu là động lực của việc đưa vào eigendomain? Là gì ? Tại sao bây giờ chúng ta nhìn vào các yếu tố bất biến của vectơ? Tôi đã cố gắng theo dõi các phép tính thông qua, nhưng phụ thuộc vào , điều này phụ thuộc vào , mà tôi nghĩ rằng chúng tôi đang cố gắng loại bỏ. Câu hỏi của tôi là ai đó có thể mở rộng trên một vài bước với một số trực giác và tính toán? Cảm ơn.$w^k - w^\star$$x^k$$x^{k+1}$$w^{k+1}$$z^k$

Trong nhiều ứng dụng toán học, động lực trở nên rõ ràng hơn sau khi nhận được kết quả. Vì vậy, hãy bắt đầu với đại số.

Giả sử chúng ta đã chạy GD cho lặp đi lặp lại. Điều này sẽ cho chúng ta những bộ .$T$${(w_k)}_{k=1}^T$

Hãy thay đổi cơ sở:

$w^k = Qx^k + w^*$ $\iff$ $x^k = Q^T(w^k-w^*)$

Bây giờ chúng ta có . Chúng ta có thể nói gì về họ? Chúng ta hãy xem xét từng tọa độ riêng biệt. Bằng cách thay thế ở trên và sử dụng bước cập nhật của GD,${(x_k)}_{k=1}^T$

$x_i^{k+1}= (Q^T(w^{k+1}-w^*))_i = (Q^T(w^k-\alpha (Aw^k-b)-w^*))_i$

Sắp xếp

$x_i^{k+1}=(Q^T(w^k-w^*))_i-\alpha \cdot (Q^T(Aw^k-b))_i$

Thuật ngữ đầu tiên chính xác là . Đối với nhiệm kỳ thứ hai, chúng ta thay . Sản lượng này,$x_i^k$$A=Qdiag(\lambda _1 \dots \lambda _n)Q^T$

$x_i^{k+1}=x_i^k-\alpha \lambda _i x_i^k=(1-\alpha \lambda _i)x_i^k$

Đó là một bước duy nhất. Lặp đi lặp lại cho đến khi chúng tôi hoàn thành , chúng tôi nhận được$x_0$

$x_i^{k+1}=(1-\alpha \lambda _i)^{k+1}x_i^0$

Tất cả điều này dường như thực sự vô dụng vào thời điểm này. Hãy quay trở lại mối quan tâm ban đầu của chúng tôi, s. Từ thay đổi cơ bản ban đầu của chúng tôi, chúng tôi biết rằng . Một cách khác để viết phép nhân của ma trận với vectơ là . Nhưng chúng tôi đã chỉ ra ở trên rằng . Kết hợp mọi thứ lại với nhau, chúng tôi đã thu được công thức "biểu mẫu đóng" mong muốn cho bước cập nhật GD:${w}$$w^k-w^*=Qx^k$$Q$$x^k$$\sum_i x_i^kq_i$$x_i^{k}=(1-\alpha \lambda _i)^{k}x_i^0$

$w^k-w^*=\sum_i x_i^0(1-\alpha \lambda _i)^{k} q_i$

Đây thực chất là một biểu thức cho "lỗi" tại lần lặp của GD (chúng ta cách giải pháp tối ưu bao xa, ). Vì chúng ta đang quan tâm trong việc đánh giá hiệu suất của GD, đây là những biểu hiện chúng tôi muốn phân tích. Có hai quan sát ngay lập tức. Đầu tiên là thuật ngữ này chuyển sang 0 khi đi đến vô cùng, đó là điều tất nhiên là tin tốt. Thứ hai là lỗi phân hủy rất độc đáo thành các phần tử riêng biệt của , thậm chí còn đẹp hơn cho mục đích phân tích của chúng tôi. Ở đây tôi trích dẫn từ bài viết gốc, vì tôi nghĩ họ giải thích nó một cách độc đáo:$k$$w^*$$k$$x_0$

Mỗi phần tử của là thành phần của lỗi trong phỏng đoán ban đầu trong -bocation. Có lỗi như vậy và mỗi lỗi này theo con đường đơn độc của riêng nó đến mức tối thiểu, giảm theo cấp số nhân với tỷ lệ là . Con số đó càng gần 1 thì nó càng hội tụ chậm.$x^0$$Q$$n$$1-\alpha \lambda_i$

Tôi hy vọng điều này sẽ làm sáng tỏ mọi thứ cho bạn đủ để bạn có thể tiếp tục đọc bài viết. Đó là một trong những thực sự tốt!

Tôi đã đọc cùng một tờ giấy, bị mắc kẹt tại cùng một địa điểm và làm việc với sự giúp đỡ của câu trả lời của galoosh33 .

Tôi chỉ không tìm thấy bước rõ ràng:

$$\begin{equation} \begin{split} x_{i}^{k+1} & = (Q^{T}(w^{k} - w^{*}))_{i} - \alpha (Q^{T}(Aw^{k} - b))_{i} \\ & = x_{i} - \alpha \lambda_{i} x_{i}^{k} \end{split} \end{equation}$$

Vì vậy, đối với những người không muốn làm việc thông qua đại số và không thấy ngay lập tức, làm thế nào chúng ta thoát khỏi , đó là từ sự thay thế và và thực tế là các hàm riêng là trực giao .$b$$w^{k} = Qx^{k} + w^{*}$$w^{*} = A^{-1}b$$Q^{-1} = Q^{T}$

$$\begin{equation} \begin{split} (Q^{T} A w_{k} - Q^{T}b)_{i} & = (Q^{T} A Q x^{k} + Q^{T} A \overbrace{w^{*}}^{A^{-1}b} - Q^{T}b)_{i} \\ & = (\underbrace{Q^{T} Q}_{I} \text{diag}(\lambda_1, \ldots, \lambda_n) \underbrace{Q^T Q}_{I} x^{k} \underbrace{+ Q^{T} \underbrace{A A^{-1}}_{I} b - Q^{T} b}_{0})_{i} \\ & = \lambda_{i} x_{i}^{k} \end{split} \end{equation}$$

Tôi sẽ cung cấp một vài nhận xét bằng ngôn ngữ của máy học, hy vọng sẽ đưa bạn đến một kết luận hợp lý hữu ích.

Đầu tiên, giảm thiểu mục tiêu bậc hai đó giống như giải một bài toán bình phương nhỏ nhất (nếu điều này không rõ ràng, hãy thử chứng minh nó như một bài tập). Thứ hai, đối với bất kỳ bài toán bình phương nhỏ nhất nào, nếu các tính năng là trực giao, thì việc ước tính các hệ số riêng biệt hoặc tuần tự (như thực hiện chính xác một vòng tọa độ gốc) tương đương với việc ước lượng chúng cùng nhau. (Nếu điều này không rõ ràng, thì giả sử các tính năng là trực giao. Bạn có thấy điều này có nghĩa là phải là đường chéo không? Điều đó có nghĩa là mỗi mục của giải pháp không phụ thuộc vào các mục khác).$A$

Vì vậy, bây giờ câu hỏi là: Làm thế nào chúng ta có thể giải quyết vấn đề tương tự, nhưng với một ma trận đường chéo thay cho ? Thứ ba, định mức là bất biến trực giao, do đó, nếu bạn trái hoặc phải nhân bất cứ thứ gì nằm trong định mức bằng một ma trận trực giao (được hiểu là một phép quay), bạn có thể giải quyết vấn đề đó sau đó quay lại phép biến đổi trực giao đó tại kết thúc. Vì là bán xác định dương đối xứng, chúng ta có thể nhận được các ma trận trực giao đó từ phân rã giá trị riêng của (còn gọi là "chéo" ).$A$$\ell_2$$A$$A$$A$

Quay lại thống kê: Quá trình này đôi khi được gọi là làm trắng hoặc làm trắng trước mặc dù tôi tin rằng không có sự hình thành như cách sử dụng thuật ngữ này.

Nói một cách đơn giản và lỏng lẻo, trong không gian điện tử của , các cột / hàng của có thể được xem như là những mẩu thông tin hoàn toàn riêng biệt và không liên quan.$A$$A$