Làm thế nào để thực hiện chính quy L2 theo hướng tùy ý trong không gian?

11

Đây là một cái gì đó tôi đọc trong cuốn sách Deep Learning của Ian Goodfellow .

Trong ngữ cảnh của các mạng thần kinh, "hình phạt định mức tham số L2 thường được gọi là phân rã trọng lượng. Chiến lược chính quy này đẩy trọng số gần với điểm gốc hơn [...]. Nói chung, chúng ta có thể thường xuyên hóa các tham số ở gần bất kỳ điểm cụ thể nào trong không gian "nhưng việc chuẩn hóa các tham số mô hình về 0 là phổ biến hơn nhiều. (Học sâu, Goodfellow và cộng sự)

Tôi chỉ tò mò thôi. Tôi hiểu rằng chỉ bằng cách thêm một thuật ngữ chính quy vào hàm chi phí của chúng tôi và bằng cách giảm thiểu tổng chi phí $J$ chúng tôi có thể tác động đến các tham số của mô hình ở mức nhỏ:

J (Θ, X, y) = L (Θ, X, y) + λ | | w | |_{2}^{2}

$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$

Nhưng làm thế nào một người có thể thực hiện một phiên bản của chiến lược chính quy hóa này sẽ dẫn các tham số tới bất kỳ điểm tùy ý nào? (nói rằng chúng tôi muốn các tiêu chuẩn có xu hướng về 5)

— Julep
nguồn

14

Bạn thực sự hỏi hai câu hỏi khác nhau.

Có chỉ tiêu có xu hướng 5 ngụ ý rằng bạn muốn các trọng số ở gần bề mặt của một siêu cầu ở giữa tại điểm gốc với bán kính 5. Sự chuẩn hóa này trông giống như

J (Θ, X, y) = L (Θ, X, y) + λ (| | w | |_{2}^{2} - 5)^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$

Nhưng thay vào đó, bạn có thể sử dụng một cái gì đó như $\lambda \cdot\text{abs}(||w||_2^2-5)$ , tôi cho rằng.

Mặt khác, nếu bạn muốn hướng đến một điểm tùy ý, bạn chỉ cần sử dụng điểm đó làm trung tâm $c$ .

J (Θ, X, y) = L (Θ, X, y) + λ | | w - c | |_{2}^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$

— Sycorax nói phục hồi Monica
nguồn

(+1) Tôi nghĩ rằng một cách hiệu quả để suy nghĩ về "chuẩn có xu hướng năm" có thể thông qua việc lựa chọn tham số điều chỉnh trong phiên bản do OP đưa ra (thay vì thay đổi chức năng)

J

$J$

— user795305

(Tôi đã viết một câu trả lời ngắn để làm rõ những gì tôi muốn nói ở trên. Nhân tiện, cảm ơn bạn đã làm rõ sự khác biệt của hai câu hỏi được hỏi!)

— user795305

Một mục tiêu (thực tế) phổ biến khi thực hiện điều đó là thường xuyên hướng tới một số điểm vận hành đã biết, ví dụ như mô hình trước đó mà bạn muốn thay thế nhưng bạn muốn chuyển đổi "trơn tru"

— oDDsKooL

6

Xác địnhChúng tôi biết rằng , do hình phạt có nguồn gốc là công cụ thu nhỏ.

{\hat{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ ‖ w ‖_{2}^{2} .

$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$

lim_{λ \to \infty} {\hat{w}}_{λ} = 0

$\lim_{\lambda \to \infty} \hat w_\lambda = 0$

w \mapsto ‖ w ‖_{2}^{2}

$w \mapsto \|w\|_2^2$

Sycorax chỉ ra rằng, tương tự,Việc khái quát hóa thành công này có thể khiến chúng tôi đề xuất công cụ ước tính trong đó là một hàm mà tối thiểu hóa đáp ứng một số tài sản mà chúng tôi tìm kiếm. Thật vậy, Sycorax lấy , trong đó được giảm thiểu (duy nhất) tại điểm gốc và đặc biệt là . Do đó , như mong muốn. Thật không may, mặc dù, cả hai sự lựa chọn của $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$

{\tilde{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ p e n (w),

$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$

p e n

$\mathrm{pen}$

p e n (w) = g (‖ w ‖_{2}^{2} - 5)

$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$

g

$g$

g \in {| \cdot |, (\cdot)^{2}}

$g \in \{|\cdot|, \, (\cdot)^2\}$

lim_{λ \to \infty} ‖ {\tilde{w}}_{λ} ‖_{2}^{2} = 5

$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$

g

$g$ dẫn đến các hình phạt không thông minh, khiến người ước tính khó tính toán.

Phân tích trên dường như là giải pháp tốt nhất (có thể tùy thuộc vào lựa chọn của , mà tôi không có gợi ý nào tốt hơn) nếu chúng tôi nhấn mạnh vào như là cách giải thích duy nhất của "có xu hướng" được mô tả trong câu hỏi. Tuy nhiên, giả định rằng , có tồn tại một số để các minimizer của vấn đề satsifes OP của . Do đó mà không cần thay đổi hàm mục tiêu. Nếu không có như vậy tồn tại, thì vấn đề của máy tính $g$ $\lambda \to \infty$ $\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$ $\Lambda$ $\hat w_\Lambda$ $\|\hat w_\Lambda\|_2^2 = 5$

lim_{λ \to Λ} {‖ {\hat{w}}_{λ} ‖}_{2}^{2} = 5,

$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$

Λ

$\Lambda$

\arg min_{w : ‖ w ‖_{2}^{2} = 5} L (Θ, X, y)

$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$ về bản chất là khó khăn. Thật vậy, không cần phải xem xét bất kỳ công cụ ước tính nào ngoài khi cố gắng khuyến khích các thuộc tính tự nhiên của .

{\hat{w}}_{λ}

$\hat w_\lambda$

‖ {\hat{w}}_{λ} ‖_{2}^{2}

$\|\hat w_\lambda\|_2^2$

(Để thực thi rằng một người ước tính bị phạt đạt được một giá trị của hình phạt mà người ước tính không đạt được có vẻ không tự nhiên đối với tôi. Nếu bất cứ ai biết về bất kỳ nơi nào mà điều này thực sự mong muốn, xin vui lòng bình luận!)

— người dùng795305
nguồn

1

Đây là một bổ sung tuyệt vời. +1

— Sycorax nói Phục hồi Monica

2

Đối với thích hợp , có thể xem nó là khả năng ghi nhật ký âm và chính quy hóa thích hợp có thể được xem là khả năng ghi nhật ký âm cho phân phối trước. Cách tiếp cận này được gọi là Maximum A Posteriori (MAP). $L$ $J$

Thật dễ dàng để xem các ví dụ của Sycorax dưới ánh sáng của MAP.

Để biết chi tiết về MAP, bạn có thể xem các ghi chú này . Từ kinh nghiệm của tôi, việc 'tối đa hóa chính quy sau' cho kết quả tốt.

— Jakub Bartczuk
nguồn