Liệu chuẩn hóa L2 của hồi quy sườn có trừng phạt đánh chặn không? Nếu không, làm thế nào để giải quyết đạo hàm của nó?

Tôi mới đến ML. Tôi được thông báo rằng việc bình thường hóa L2 của hồi quy sườn không trừng phạt việc chặn . Như trong hàm chi phí: Thuật ngữ chuẩn hóa L2 chỉ tính tổng từ đến , không phải từ đến . Tôi cũng đọc rằng: $\theta_{0}$

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} (h_{\vec{θ}} (x^{(i)}) - y^{(i)})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}

$\nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

λ \sum_{j = 1}^{n} θ_{j}^{2}

$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

j = 1

$j=1$

n

$n$

j = 0

$j=0$

n

$n$

trong hầu hết các trường hợp (tất cả các trường hợp?), tốt hơn hết là bạn không nên thường xuyên hóa , vì không thể giảm quá mức và thu hẹp không gian của các chức năng có thể biểu diễn $\theta_{0}$

xuất phát từ câu trả lời cuối cùng của user48956 về Tại sao mô hình hồi quy tuyến tính chặn không dự đoán tốt hơn mô hình có chặn?

Tôi bối rối về cách giải đạo hàm của hàm chi phí, vì: trong đó , và .

\nabla_{θ} J (θ) = \frac{1}{2} （ X θ - Y ）^{T} （ X θ - Y ） + λ (θ^{^{'}})^{T} θ^{^{'}},

$\nabla_{\theta}J(\theta)=\frac{1}{2}（X\theta-Y）^{T}（X\theta-Y）+\lambda(\theta^{'})^{T}\theta^{'},$

θ^{^{'}} = [\begin{matrix} θ_{1} \\ θ_{2} \\ . . . \\ θ_{n} \end{matrix}]

$\theta^{'}=\left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ ...\\ \theta_{n} \end{matrix} \right]$

θ = [\begin{matrix} θ_{0} \\ θ_{1} \\ . . . \\ θ_{n} \end{matrix}]

$\theta=\left[ \begin{matrix} \theta_{0} \\ \theta_{1} \\ ...\\ \theta_{n} \end{matrix} \right]$

X = [\begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & . . . & X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & . . . & X_{n}^{(2)} \\ . . . \\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & . . . & X_{n}^{(m)} \end{matrix}]

$X=\left[ \begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

$\theta^{'}$ và khác nhau. Do đó chúng không thể được trộn lẫn từ quan điểm của tôi. Và đạo hàm là về có chứa . Sau khi googling và xem các câu hỏi trên diễn đàn này, vẫn không có cách nào để tôi có được giải pháp: Ai có thể cho tôi manh mối không? Cảm ơn trước sự giúp đỡ của bạn! $\theta$ $\theta$ $\theta^{'}$

θ = (X^{T} X + λ * I)^{- 1} X^{T} Y

$\theta=(X^TX+\lambda*I)^{-1}X^TY$

Tuy nhiên, tôi nghĩ có hai cách khắc phục nhanh vấn đề này:

Trước hết, chúng tôi không thêm cột tất cả 1 tới . Cụ thể là . Điều đó có nghĩa là chúng tôi không bao gồm phần chặn trong mô hình: Tôi tin rằng phương pháp này được áp dụng trong cuốn sách kinh điển Machine Learning in Action của Peter Harrington mà tôi hiện đang đọc. Trong quá trình thực hiện hồi quy sườn (P166 và P177 nếu bạn cũng có sách), tất cả được chuyển sang hồi quy sườn không có tất cả 1 cột. $X$ $X=\left[ \begin{matrix} X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

y = θ_{1} X_{1} + θ_{2} X_{2} + . . . + θ_{n} X_{n} .

$y=\theta_{1}X_{1}+\theta_{2}X_{2}+...+\theta_{n}X_{n}.$

X

$X$

Thứ hai, việc đánh chặn cũng đang bị trừng phạt trong thực tế.

Hồi quy logistic của scikit thường xuyên chặn đánh chặn theo mặc định.

mà một lần nữa xuất phát từ câu trả lời cuối cùng của user48956 về Tại sao mô hình hồi quy tuyến tính chặn không dự đoán tốt hơn mô hình có chặn?

Cả hai cách khắc phục nhanh đều dẫn đến giải pháp

θ = (X^{T} X + λ * I)^{- 1} X^{T} Y .

$\theta=(X^TX+\lambda*I)^{-1}X^TY.$

Vì vậy, đạo hàm của bình thường hóa L2 của hồi quy sườn thực sự có thể được giải quyết hay chỉ được giải quyết bằng cách sửa chữa nhanh chóng?

machine-learning ridge-regression

— Naomi
nguồn

Xem thêm thống kê.stackexchange.com/questions/86991 . Câu trả lời cho Q của bạn là mọi thứ đều có thể được giải quyết: chỉ cần phân tách thuật ngữ đầu tiên thành theta_0 và theta_prime. Bạn có thể giải quyết ngay lập tức cho tối ưu theta_0: đó là ý nghĩa tổng thể. Dẫn đến "cách khắc phục nhanh số 1" của bạn là giải pháp phù hợp cho theta_prime trên dữ liệu bị trừ trung bình.

— amip

Giải pháp thứ hai là khá phổ biến được coi là không chính xác. Việc xử phạt đánh chặn là một trong một vài lỗi thiết kế trong sklearn.

— Matthew Drury

@MatthewDrury Tôi nghĩ rằng tôi đã đề cập đến một bản hack để "sửa" cái này và làm bạn buồn. Nhưng tôi muốn nói với OP rằng vụ hack đang tạo ra một cuộc đánh chặn khổng lồ, chẳng hạn như 1e9. Sau đó, chính quy hóa ít ảnh hưởng đến nó.

— Haitao Du

Yah, bạn nhớ chính xác, mỗi khi tôi làm điều đó tôi chết bên trong một chút.

— Matthew Drury

@amoeba Cảm ơn rất nhiều! Tôi tìm ra giải pháp trong câu trả lời của tôi dưới sự hướng dẫn của bạn. Bạn có thể giúp tôi kiểm tra nó? Hơn nữa, tôi phát hiện ra rằng phép trừ Machine Learning in Action có nghĩa là từ và không thêm tất cả 1 cột vào , cả hai đều đúng. Tuy nhiên, khi thực hiện chuẩn hóa tính năng, nó chia cho phương sai chứ không phải độ lệch chuẩn! Tôi đã hỏi một câu hỏi khác cho điều này: không phải bởi độ lệch chuẩn Bạn có thể giúp tôi một lần nữa về câu hỏi này không? Cảm ơn!

Y

$Y$

X

$X$

X - μ

$X-\mu$

— Naomi

Các yếu tố của học thống kê bởi Hastie et al. chỉ ra trong P63 rằng:

việc chặn đã bị loại khỏi thời hạn phạt $\theta_{0}$

Hơn nữa, nó nói:

Các giải pháp sườn núi không tương đương dưới tỷ lệ của các yếu tố đầu vào, và do đó, người ta thường chuẩn hóa các đầu vào trước khi giải (3,41) (3,41 là hàm chi phí). Có thể chỉ ra (Bài tập 3.5) rằng giải pháp cho (3.41) có thể được tách thành hai phần, sau khi lặp lại bằng cách sử dụng các đầu vào trung tâm: mỗi được thay thế bằng Chúng tôi ước tính bởi Các hệ số còn lại được ước tính bằng hồi quy sườn chặn, sử dụng trung tâm . Do đó, chúng tôi giả định rằng việc định tâm này đã được thực hiện, do đó ma trận đầu vào có $X_{j}^{(i)}$ $X_{j}^{(i)}-\overline{x_{j}}.$ $\theta_{0}$ $\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$ $X_{j}^{(i)}$ $X$ $n$ (chứ không phải ) cột. $n + 1$

Mặc dù tôi tự hỏi tại sao các yếu tố của học thống kê trước tiên đề xuất tiêu chuẩn hóa tính năng và sau đó chỉ thực hiện định tâm tính năng. Có thể đồng ý với Bài tập 3.5 chỉ sử dụng tính năng định tâm.

Dù sao, tôi tin rằng việc áp dụng tiêu chuẩn z cho các tính năng là đúng. Vì vậy, bây giờ tôi cố gắng giải quyết đạo hàm của hàm chi phí của hồi quy sườn theo gợi ý của người bình luận amip ở trên. Cảm ơn anh ấy hoặc cô ấy rất nhiều!

Đầu tiên, hàm chi phí: trong đó là giá trị trung bình của thuộc tính và là độ lệch chuẩn của . Để làm cho nó ngắn hơn: Trước tiên, chúng tôi tính toán giá trị của

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} (y_{i} - θ_{0} - \frac{X_{1}^{(i)} - \bar{X_{1}}}{σ_{1}} θ_{1} - \frac{X_{2}^{(i)} - \bar{X_{2}}}{σ_{2}} θ_{2} - . . . - \frac{X_{n}^{(i)} - \bar{X_{n}}}{σ_{n}} θ_{n})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2},

$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\frac{X_{1}^{(i)}-\overline{X_1}}{\sigma_1}\theta_1-\frac{X_{2}^{(i)}-\overline{X_2}}{\sigma_2}\theta_2-...-\frac{X_{n}^{(i)}-\overline{X_n}}{\sigma_n}\theta_n)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}},$

\bar{X_{j}}

$\overline{X_j}$

X_{j}

$X_{j}$

σ_{j}

$\sigma_j$

X_{j}

$X_{j}$

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} (y_{i} - θ_{0} - \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}

$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

θ_{0}

$\theta_0$ trong biểu thức trên bằng cách đặt đạo hàm tương ứng với bằng 0. Vì không có , chúng tôi nhận được: Đó là: Là (vì là giá trị trung bình của thuộc tính ), vì vậy bây giờ chúng ta có

θ_{0}

$\theta_0$

λ \sum_{j = 1}^{n} θ_{j}^{2}

$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

θ_{0}

$\theta_{0}$

\nabla_{θ_{0}} J (θ) = - \sum_{i = 1}^{m} (y_{i} - θ_{0} - \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j}) = 0

$\nabla_{ \theta_0}J(\theta)=-\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)=0$

\sum_{i = 1}^{m} (y_{i} - θ_{0}) - \sum_{i = 1}^{m} \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j} = 0

$\sum_{i=1}^{m}(y_{i}-\theta_{0})-\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$

\sum_{i = 1}^{m} \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j} = 0

$\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$

\bar{X_{j}}

$\overline{X_j}$

X_{j}

$X_{j}$

\sum_{i = 1}^{m} (y_{i} - θ_{0}) = 0,

$\sum_{i=1}^{m}(y_{i}-\theta_{0})=0,$ rõ ràng:

θ_{0} = \bar{y} = \frac{1}{m} \sum_{i = 1}^{m} y^{(i)}

$\theta_0=\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$

Vì vậy, việc chặn hồi quy sườn tiêu chuẩn hóa tính năng luôn là . Do đó, nếu trước tiên chúng ta tập trung bằng cách trừ trung bình của nó (get cho ví dụ dữ liệu ), không bao gồm tất cả 1 cột trong , và sau đó thực hiện tiêu chuẩn hóa tính năng trên (get cho của ví dụ dữ liệu ) , hàm chi phí sẽ chỉ đơn giản là Đó là $\overline{y}$ $Y$ $(y_i)^{'}$ $i$ $X$ $X$ $(X_j^{(i)})^{'}$ $X_{j}$ $i$

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} ((y_{i})^{^{'}} - \sum_{j = 1}^{n} (X_{j}^{(i)})^{^{'}} θ_{j})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}

$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}((y_{i})^{'}-\sum_{j=1}^{n}(X_j^{(i)})^{'}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$

\nabla_{θ} J (θ) = \frac{1}{2} （ X^{^{'}} θ - Y^{^{'}} ）^{T} （ X^{^{'}} θ - Y^{^{'}} ） + λ (θ)^{T} θ,

$\nabla_{\theta}J(\theta)=\frac{1}{2}（X^{'}\theta-Y^{'}）^{T}（X^{'}\theta-Y^{'}）+\lambda(\theta)^{T}\theta,$ trong đó , không có tất cả 1 cột và tiêu chuẩn của , tập trung đối với với . Bây giờ (không có ) có thể được giải quyết bằng: Đối với các tính năng được tiêu chuẩn hóa, mô hình tuyến tính sẽ là trong đó

θ = [\begin{matrix} θ_{1} \\ θ_{2} \\ . . . \\ θ_{n} \end{matrix}]

$\theta=\left[ \begin{matrix} \theta_1 \\ \theta_2 \\ ...\\ \theta_n \end{matrix} \right]$

X^{^{'}}

$X^{'}$

X

$X$

Y^{^{'}}

$Y^{'}$

Y

$Y$

θ

$\theta$

θ_{0}

$\theta_0$

θ = ((X^{^{'}})^{T} X^{^{'}} + λ * I)^{- 1} (X^{^{'}})^{T} Y^{^{'}}

$\theta=((X^{'})^TX^{'}+\lambda*I)^{-1}(X^{'})^TY^{'}$

y = \bar{y} + θ_{1} X_{1}^{^{'}} + θ_{2} X_{2}^{^{'}} + . . . + θ_{n} X_{n}^{^{'}} - - - (1),

$y=\overline{y}+\theta{_1}X_1^{'}+\theta{_2}X_2^{'}+...+\theta{_n}X_n^{'}---(1),$

X_{i}^{^{'}} = \frac{X_{i} - \bar{X_{i}}}{σ_{i}} - - - (2)

$X_i^{'}=\frac{X_{i}-\overline{X_i}}{\sigma_i}---(2)$ Nếu chúng tôi sử dụng (2) trong (1) như được đề xuất trong câu trả lời của Plasty Grove . Vì vậy, đối với dữ liệu đầu vào gốc, mô hình tuyến tính sẽ là Đó là Đó là lý do tại sao sau khi chúng tôi giải quyết các hệ số của các tính năng được tiêu chuẩn hóa, để trả về các hệ số của dữ liệu đầu vào gốc tính năng), chúng tôi phải trả lại

y = \bar{y} + \frac{X_{1} - \bar{X_{1}}}{σ_{1}} θ_{1} + \frac{X_{2} - \bar{X_{2}}}{σ_{2}} θ_{2} + . . . + \frac{X_{n} - \bar{X_{n}}}{σ_{n}} θ_{n}

$y=\overline{y}+\frac{X_{1}-\overline{X_1}}{\sigma_1}\theta_1+\frac{X_{2}-\overline{X_2}}{\sigma_2}\theta_2+...+\frac{X_{n}-\overline{X_n}}{\sigma_n}\theta_n$

y = \frac{θ_{1}}{σ_{1}} X_{1} + \frac{θ_{2}}{σ_{2}} X_{2} + . . . + \frac{θ_{n}}{σ_{n}} X_{n} + \bar{y} - \frac{\bar{X_{1}}}{σ_{1}} θ_{1} - \frac{\bar{X_{2}}}{σ_{2}} θ_{2} - . . . - \frac{\bar{X_{n}}}{σ_{n}} θ_{n}

$y=\frac{\theta_1}{\sigma_1}X_1+\frac{\theta_2}{\sigma_2}X_2+...+\frac{\theta_n}{\sigma_n}X_n+\overline{y}-\frac{\overline{X_1}}{\sigma_1}\theta_1-\frac{\overline{X_2}}{\sigma_2}\theta_2-...-\frac{\overline{X_n}}{\sigma_n}\theta_n$

θ_{i} / σ_{i}

$\theta_i/\sigma_i$

— Naomi
nguồn

Ví dụ chi tiết đẹp. Một vài ý kiến: bạn nhận xét về tác dụng của việc định tâm , nhưng để bỏ qua một thuật ngữ chặn và có được ước tính chính xác, người ta cũng phải tập trung vào tất cả các tính năngTuy nhiên, tôi đồng ý ví dụ này đồng ý với lý do không phạt thời hạn đánh chặn (để có được suy luận nhất quán). Thứ hai, trực giác nên phục vụ cho một cái gì đó ở đây. Tất cả chúng ta chấp nhận rằng dự đoán bằng trung bình của nó là giống như một mô hình tham số 0, vì vậy để có được những tác dụng phụ của trong mô hình, chúng ta không phải trừng phạt thuật ngữ mà chỉ đơn thuần là bắt hiệu quả-Y có nghĩa là sự hiện diện của .

Y

$Y$

X

$X$

Y

$Y$

X

$X$

X

$X$

— AdamO