Chính quy và chiếu lên bóng

Tôi đang cố gắng hiểu làm thế nào chính quy hóa hoạt động theo các phép chiếu lên một quả bóng và phép chiếu Euclide lên đơn giản.$l_*$

Tôi không chắc là tôi hiểu ý của chúng tôi khi chúng tôi chiếu vectơ trọng lượng lên các quả bóng hoặc .l $l_1$$l_2$

Tôi có thể hiểu khái niệm về lập trình chính quy hóa , như trong, chúng ta đi qua từng phần tử trong vectơ trọng số và áp dụng ở đâu , từ đó đưa trọng số nhỏ về 0.$l_1$signum(w) * max(0.0, abs(w) - shrinkageValue)shrinkageValue = regularizationParameter * eta

Tôi đoán tôi đang thiếu một số phép toán ở đây, vì vậy câu hỏi của tôi là làm thế nào để chúng ta dịch phép chiếu của vectơ vào chương trình tôi vừa mô tả? Làm thế nào là chính quy và các phép chiếu vector được kết nối?

Chỉnh sửa: Tôi đang cố gắng hoàn thành bài viết Dự đoán hiệu quả này trên -Ball for Learning in High Dimensions$l_1$

Chính quy và các phép chiếu vectơ được kết nối thông qua ý tưởng tối ưu hóa bị ràng buộc và các điều kiện Karush-Kuhn (không liên quan) -Tucker .

Các điều kiện KKT là gì?

Tóm lại, những trạng thái này, nếu là một giải pháp cho vấn đề "tối thiểu hóa theo g ( x ) ≤ 0 ", thì x cũng là một giải pháp cho vấn đề ∇ f ( x ) = λ ∇ g ( x ) đối với một số vô hướng λ . Nhưng điều này là tương đương với nói ∇ f ( x ) - bước sóng ∇ g ( x ) = 0 , có nghĩa là x giảm thiểuf ( x $x$$f(x)$$g(x) \le 0$$x$$\nabla f(x) = \lambda \nabla g(x)$$\lambda$$\nabla f(x) - \lambda \nabla g(x) = 0$$x$không bị giới hạn vấn đề tối ưu hóa "hạn chế tối đa ".$f(x) - \lambda g(x)$

Trực giác là một trong hai:

• . Trong trường hợp này, x là một "giải pháp bên trong" nên độ dốc của f phải bằng 0 tại điểm đó. (Nếu nó không được bằng không, chúng ta có thể di chuyển một chút theo hướng đó từ x , trong khi duy trì g ( x ) < 0 , và có một giá trị cao hơn cho f ( x ) . Sau đó, chúng tôi đặt λ = 0 và chúng tôi làm xong.$g(x) < 0$$x$$f$$x$$g(x) < 0$$f(x)$$\lambda = 0$

• Hoặc, . Trong trường hợp này, x nằm trên cạnh của không gian giải pháp có thể. Tại địa phương, cạnh này trông giống như một siêu phẳng trực giao với độ dốc ∇ g ( x ) , bởi vì cách bạn duy trì ràng buộc g ( x ) = 0 là không di chuyển lên hoặc xuống độ dốc. Nhưng điều đó có nghĩa rằng sự chỉ đạo chỉ gradient ∇ f có thể có thể Vấn đề là cùng một hướng chính xác như ∇ g --Nếu như nó có bất kỳ thành phần đó là trực giao với ∇ g , chúng ta có thể di chuyển $g(x) = 0$$x$$\nabla g(x)$$g(x) = 0$$\nabla f$$\nabla g$$\nabla g$$x$một chút theo hướng đó, ở lại trên siêu phẳng trực giao và tăng f ( x ) .$g(x) = 0$$f(x)$

Làm thế nào các điều kiện KKT giải thích mối quan hệ giữa tối thiểu hóa và chính quy hóa bị ràng buộc

Nếu đối với một số chỉ tiêu và một số hằng số c , thì ràng buộc g ( x ) ≤ 0 có nghĩa là x nằm trên một quả cầu có bán kính c theo định mức đó. Và trong công thức không giới hạn, trừ λ g ( x ) khỏi hàm bạn muốn tối đa hóa là điều cuối cùng áp dụng hình phạt chính quy: bạn thực sự trừ λ | x | + λ c (và hằng số $g(x) = |x| - c$$c$$g(x) \le 0$$x$$c$$\lambda g(x)$$\lambda |x| + \lambda c$ không quan trọng để tối ưu hóa).$\lambda c$

Mọi người thường tận dụng "tính hai mặt" này giữa tối ưu hóa không bị ràng buộc và bị ràng buộc. Để biết một ví dụ mà tôi có thể tìm thấy nhanh chóng bằng cách Googling xem Trên LASSO và bản kép của nó .

Tại sao các dự đoán quan trọng ở đây?

OK, vậy tại sao một người nào đó viết một bài báo về các phép chiếu nhanh, mặc dù?

Về cơ bản, một cách bạn có thể thực hiện tối ưu hóa bị ràng buộc chung - "tối đa hóa theo x ∈ X " - là thực hiện như sau:$f(x)$$x \in X$

• Thực hiện bất kỳ thuật toán lặp để tối đa hóa không giới hạn của $f(x)$
• Bắt đầu với đoán $x_0$
• Thực hiện một bước của thuật toán: $x_0^\prime \leftarrow step(x_0)$
• Sau đó chiếu lại vào tập : x 1 ← P X ( x ′ 0 ) .$X$$x_1 \leftarrow P_X(x_0^\prime)$
• Và lặp lại cho đến khi hội tụ.

Ví dụ, đây là cách giảm độ dốc dự kiến bắt nguồn từ gốc dốc thông thường. Tất nhiên, tối ưu hóa chức năng chiếu là cực kỳ quan trọng ở đây.$P_X$

Để tất cả chúng cùng nhau

Đó là phiên bản không giới hạn. Theo các điều kiện KKT, việc thêm thuật ngữ chính quy tương đương với việc hạn chế giải pháp nằm trong cho một số hằng số . Nhưng đó chỉ là quả bóng có bán kính !c ℓ 1$||\beta||_1 \le c$$c$$\ell_1$$c$

Vì vậy, bạn có thể tưởng tượng việc giải quyết điều này với độ dốc dốc (phụ) được chiếu. * Nếu bạn đã làm, chức năng của bạn sẽ là một phép chiếu lên quả bóng đơn vị và bạn muốn thực hiện nhanh chóng.$P_X$

* Tôi không nghĩ mọi người thực sự làm điều này, bởi vì có nhiều cách hiệu quả hơn. Nhưng những người cũng có thể sử dụng dự đoán. EDIT: như @Dougal chỉ ra, một biến thể tinh vi hơn của dòng dõi nâng cấp dự kiến là đủ tốt để viết một bài báo về năm 2008.