Giới hạn của công cụ ước tính hồi quy sườn núi đơn vị-độ sai lệch khi

Xem xét hồi quy sườn với một ràng buộc bổ sung yêu cầu có tổng đơn vị bình phương (tương đương, phương sai đơn vị); nếu cần, người ta có thể giả sử rằng cũng có tổng đơn vị bình phương: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

Giới hạn của $\hat{\boldsymbol\beta}_\lambda^*$ khi $\lambda\to\infty$ gì?

Dưới đây là một số tuyên bố mà tôi tin là đúng:

Khi $\lambda=0$ , có một giải pháp rõ ràng gọn gàng: lấy công cụ ước tính OLS $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ và chuẩn hóa nó để thỏa mãn ràng buộc (người ta có thể thấy điều này bằng cách thêm một số nhân Lagrange và phân biệt):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
Nói chung, giải pháp là
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ Tôi không thấy giải pháp dạng đóng khi $\lambda >0$ . Có vẻ như giải pháp này tương đương với công cụ ước tính RR thông thường với một số $\lambda^*$ chuẩn hóa để đáp ứng các ràng buộc, nhưng tôi không thấy một công thức đóng cho $\lambda^*$ .
Khi $\lambda\to \infty$ , công cụ ước tính RR thông thường
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ rõ ràng hội tụ về 0, nhưng hướng của nó $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ hội tụ theo hướng của $\mathbf X^\top \mathbf y$ , còn gọi là thành phần bình phương nhỏ nhất một phần (PLS) đầu tiên.

Các câu lệnh (2) và (3) cùng nhau khiến tôi nghĩ rằng có lẽ $\hat{\boldsymbol\beta}_\lambda^*$ cũng hội tụ đến $\mathbf X^\top \mathbf y$ , nhưng tôi không chắc nếu điều này là chính xác và tôi đã không thể thuyết phục bản thân mình bằng cách nào.

— amip nói phục hồi Monica
nguồn

Câu trả lời:

Một giải thích hình học

Công cụ ước tính được mô tả trong câu hỏi là hệ số nhân Lagrange tương đương với vấn đề tối ưu hóa sau:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

có thể được xem, về mặt hình học, khi tìm thấy ellipsoid nhỏ nhất chạm vào giao điểm của hình cầu và ellipsoid $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

So sánh với chế độ hồi quy sườn núi tiêu chuẩn

Về mặt hình học, điều này thay đổi chế độ xem cũ (đối với hồi quy sườn tiêu chuẩn) của điểm mà hình cầu (lỗi) và hình cầu ( ) chạm vào $\|\beta\|^2=t$ . Nhìn vào một khung nhìn mới, nơi chúng ta tìm kiếm điểm mà hình cầu (lỗi) chạm vào một đường cong (chỉ tiêu beta bị ràng buộc bởi ) $\|X\beta\|^2=1$ . Một hình cầu (màu xanh trong hình ảnh bên trái) thay đổi thành hình thứ nguyên thấp hơn do giao điểm với ràng buộc . $\|X\beta\|=1$

Trong trường hợp hai chiều, điều này là đơn giản để xem.

Khi chúng ta điều chỉnh tham số thì chúng ta thay đổi độ dài tương đối của các quả cầu xanh / đỏ hoặc kích thước tương đối của và (Trong lý thuyết về số nhân Lagrangian có lẽ có một cách gọn gàng để chính thức và mô tả chính xác rằng điều này có nghĩa là với mỗi là hàm của , hoặc đảo ngược, là một hàm đơn điệu. Nhưng tôi tưởng tượng rằng bạn có thể thấy một cách trực giác rằng tổng số dư bình phương chỉ tăng khi chúng ta giảm .) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

Giải pháp cho là như bạn đã tranh luận trên một dòng giữa 0 và $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

Giải pháp cho là (thực sự như bạn đã nhận xét) trong các lần tải của thành phần chính đầu tiên. Đây là điểm mà là nhỏ nhất đối với . Đó là điểm mà vòng tròn chạm vào hình elip trong một điểm. $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

Trong chế độ xem 2 chiều này, các cạnh của giao điểm của hình cầu và hình cầu là các điểm. Trong nhiều chiều, đây sẽ là những đường cong $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(Trước tiên tôi tưởng tượng rằng các đường cong này sẽ là hình elip nhưng chúng phức tạp hơn. Bạn có thể tưởng tượng hình elip được giao nhau bởi quả bóng như một số loại thất bại ellipsoid nhưng với các cạnh không phải là một hình elip đơn giản) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

Về giới hạn $\lambda \to \infty$

Đầu tiên (các chỉnh sửa trước) tôi đã viết rằng sẽ có một số giới hạn ở trên mà tất cả các giải pháp đều giống nhau (và chúng nằm trong điểm ). Nhưng đây không phải là trường hợp $\lambda_{lim}$ $\beta^*_\infty$

Xem xét tối ưu hóa như một thuật toán LARS hoặc giảm độ dốc. Nếu với bất kỳ điểm nào có một hướng mà chúng ta có thể thay đổi sao cho thời hạn phạt tăng ít hơn thời hạn SSR thì bạn sẽ không ở mức tối thiểu . $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

Trong hồi quy sườn núi bình thường, bạn có độ dốc bằng không (theo mọi hướng) cho trong điểm . Vì vậy, đối với tất cả các hữu hạn , giải pháp không thể là (vì có thể thực hiện một bước vô hạn để giảm tổng số dư bình phương mà không tăng hình phạt). $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
Đối với LASSO, điều này không giống nhau vì: hình phạt là (vì vậy nó không phải là bậc hai với độ dốc bằng 0). Do đó, LASSO sẽ có một số giá trị giới hạn ở trên mà tất cả các giải pháp đều bằng 0 vì thời hạn phạt (nhân với ) sẽ tăng nhiều hơn tổng số bình phương còn lại giảm. $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
Đối với sườn núi bị hạn chế, bạn nhận được giống như hồi quy sườn núi thông thường. Nếu bạn thay đổi bắt đầu từ thì thay đổi này sẽ vuông góc với ( vuông góc với bề mặt của hình elip ) và có thể được thay đổi bằng một bước vô hạn mà không thay đổi thời hạn phạt nhưng giảm tổng số dư bình phương. Do đó, đối với bất kỳ hữu hạn , điểm không thể là giải pháp. $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

Ghi chú thêm về giới hạn $\lambda \to \infty$

Giới hạn hồi quy sườn thông thường cho đến vô cùng tương ứng với một điểm khác trong hồi quy sườn bị ràng buộc. Giới hạn 'cũ' này tương ứng với điểm bằng -1. Sau đó đạo hàm của hàm Lagrange trong bài toán chuẩn hóa $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ tương ứng với một giải pháp cho đạo hàm của hàm Lagrange trong bài toán chuẩn

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

Viết bởi StackExchangeStrike

— Sextus Empiricus
nguồn

+1. Cảm ơn rất nhiều, điều này là siêu hữu ích! Tôi sẽ cần một chút thời gian để suy nghĩ kỹ.

— amip nói rằng Phục hồi lại

Thật đáng để chỉ ra rằng các hình elip màu đỏ và màu đen có hình dạng giống nhau: đây là lý do tại sao điểm chúng chạm vào nằm trên đường nối giữa tâm của chúng. Bằng chứng đồ họa đẹp của điểm số 1 trong câu hỏi của tôi.

— amip nói rằng Phục hồi lại

Tôi đang cố gắng hiểu vị trí trên bản vẽ của bạn là bản beta tương ứng với công cụ ước tính sườn núi với lambda vô hạn, được chuẩn hóa để nằm trên hình elip màu đen. Tôi nghĩ đó là một nơi nào đó giữa và (sử dụng ký hiệu của tôi) - hai điểm được đánh dấu bằng các vòng tròn mở màu đen trên bản vẽ của bạn. Vì vậy, nếu chúng ta thực hiện hồi quy sườn và bình thường hóa giải pháp và tăng lambda từ 0 đến vô cùng, có lẽ chúng ta sẽ đi theo cùng một cung, nhưng không phải là toàn bộ cho đến PC1. Thay vào đó, việc đưa vào ràng buộc một cách rõ ràng, làm cho các giải pháp đi hết con đường cho đến PC1.

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— amip nói rằng phục hồi Monica

+5 (Tôi đã bắt đầu một tiền thưởng mà tôi sẽ vui vẻ trao giải cho câu trả lời của bạn). Tôi cũng đã đăng câu trả lời của riêng mình vì tôi đã thực hiện một số dẫn xuất đại số và quá nhiều để thêm vào câu hỏi. Tôi không bị thuyết phục bởi kết luận của bạn rằng sẽ có một số hữu hạn sau đó giải pháp sẽ không thay đổi nữa và sẽ được PC1 đưa ra. Tôi không thấy nó theo đại số, và tôi hoàn toàn không hiểu lý lẽ của bạn về lý do tại sao nó nên tồn tại. Hãy thử tìm hiểu xem.

λ_{lim}

$\lambda_\text{lim}$

— amip nói rằng Phục hồi lại

@amoeba, bạn đã đúng về cái hữu hạn không tồn tại. Tôi đã tranh luận quá nhiều bằng trực giác và nhảy nhanh chóng từ một điều kiện cụ thể cho hồi quy sườn núi thông thường sang hồi quy sườn núi bị hạn chế. RR thông thường có độ dốc bằng không (theo mọi hướng) cho trong điểm . Tôi nghĩ rằng (vì ) bạn không nhận được điều này với hồi quy bị ràng buộc. Tuy nhiên vì bị ràng buộc với ellipsoid bạn không thể 'di chuyển' theo mọi hướng.

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— Sextus Empiricus

Đây là một bản sao đại số cho câu trả lời hình học tuyệt đẹp của @ Martijn.

Trước hết, giới hạn của khi rất đơn giản để có được: trong giới hạn, thuật ngữ đầu tiên trong hàm mất mát trở nên không đáng kể và do đó có thể bị coi nhẹ. Vấn đề tối ưu hóa trở thành là thành phần chính đầu tiên của

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (tỷ lệ thích hợp). Điều này trả lời câu hỏi.

Bây giờ chúng ta hãy xem xét giải pháp cho bất kỳ giá trị nào của mà tôi đã đề cập ở điểm # 2 của câu hỏi của tôi. Thêm vào hàm mất số nhân Lagrange và phân biệt, chúng tôi thu được $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

Giải pháp này hoạt động như thế nào khi phát triển từ 0 đến vô cùng? $\lambda$

Khi , chúng tôi có được một phiên bản thu nhỏ của giải pháp OLS: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
Đối với các giá trị dương nhưng nhỏ của , giải pháp là phiên bản thu nhỏ của một số công cụ ước tính sườn núi: $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
Khi, giá trị của cần thiết để đáp ứng ràng buộc là . Điều này có nghĩa là giải pháp là phiên bản thu nhỏ của thành phần PLS đầu tiên (có nghĩa là của công cụ ước tính sườn núi tương ứng là ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
Khi trở nên lớn hơn thế, thuật ngữ cần thiết trở thành âm. Từ giờ trở đi, giải pháp là một phiên bản thu nhỏ của công cụ ước lượng sườn giả với tham số chính quy âm ( sườn núi âm ). Về phương hướng, hiện tại chúng ta đã qua hồi quy sườn núi với lambda vô hạn. $\lambda$ $(1+\mu)$
Khi , thuật ngữ sẽ chuyển sang không (hoặc chuyển hướng sang vô cùng) trừ khi trong đó là giá trị số ít nhất của . Điều này sẽ làm cho hữu hạn và tỷ lệ với trục chính đầu tiên . Chúng ta cần đặt để thỏa mãn ràng buộc. Do đó, chúng tôi có được $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

Nhìn chung, chúng ta thấy rằng vấn đề tối thiểu hóa bị ràng buộc này bao gồm các phiên bản phương sai đơn vị của OLS, RR, PLS và PCA trên phổ sau:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

Điều này dường như tương đương với một khuôn khổ hóa học tối nghĩa (?) Được gọi là "hồi quy liên tục" (xem https://scholar.google.de/scholar?q="continuum+regression " , đặc biệt là Stone & Brooks 1990, Sundberg 1993, Björkström & Sundberg 1999, vv) cho phép sự thống nhất tương tự bằng cách tối đa hóa một quảng cáo hoc tiêu chíĐiều này rõ ràng mang lại OLS được chia tỷ lệ khi , PLS khi , PCA khi và có thể được hiển thị để mang lại tỷ lệ RR cho

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ , xem Sundberg 1993.

Mặc dù có khá nhiều kinh nghiệm với RR / PLS / PCA / etc, tôi phải thừa nhận rằng tôi chưa bao giờ nghe về "hồi quy liên tục" trước đây. Tôi cũng nên nói rằng tôi không thích thuật ngữ này.

Một sơ đồ mà tôi đã làm dựa trên cái của @ Martijn:

Cập nhật: Hình được cập nhật với đường dẫn âm, rất cảm ơn @Martijn vì đã gợi ý giao diện của nó. Xem câu trả lời của tôi trong Tìm hiểu hồi quy sườn âm để biết thêm chi tiết.

— amip nói phục hồi Monica
nguồn

"Hồi quy liên tục" dường như là một trong những loại kỹ thuật rộng đáng ngạc nhiên nhằm mục đích thống nhất PLS và PCA trong một khuôn khổ chung. Tôi chưa bao giờ nghe về nó, tình cờ, cho đến khi nghiên cứu sườn núi âm (tôi cung cấp một liên kết đến Bjorkstron & Sundberg, 1999, bài viết trong bình luận đầu tiên về câu hỏi sườn núi tiêu cực mà bạn liên kết đến), mặc dù nó dường như được thảo luận rộng rãi trong các tài liệu hóa học. Phải có một số lý do lịch sử tại sao nó đã phát triển dường như tách biệt với các lĩnh vực thống kê khác. (1/3)

— Ryan Simmons

Một bài báo bạn có thể muốn đọc là de Jong et al. (2001) . Công thức của họ về "PLS chính tắc" dường như nhanh chóng tương đương với bạn, mặc dù tôi thừa nhận tôi chưa so sánh chặt chẽ về toán học (họ cũng cung cấp một đánh giá về một số khái quát khác của PLS-PCA trong cùng một hướng). Nhưng nó có thể là sâu sắc để xem làm thế nào họ đã giải thích vấn đề. (2/3)

— Ryan Simmons

Trong trường hợp liên kết đó chết, trích dẫn đầy đủ là: Sijmen de Jong, Barry M. Wise, N. Lawrence Ricker. "Bình phương tối thiểu một phần bình phương và hồi quy công suất liên tục." Tạp chí Hóa học, 2001; 15: 85-100. doi.org/10.1002/ Kẻ (3/3)

— Ryan Simmons

ah, ok, sau đó và đi tới vô cùng nhưng tỷ lệ của chúng vẫn là . Trong mọi trường hợp, đường hồi quy sườn âm phải nằm trong khu vực (âm) giữa các vectơ PLS và PCA sao cho hình chiếu của chúng lên hình elipnằm giữa các điểm PLS và PCA. (tiêu chuẩn đi đến vô cùng có ý nghĩa như là đi đến vô cùng như tốt, vì vậy con đường tiếp tục phía dưới bên phải, bước đầu tiếp xúc với, tiêu cực, PLS và cuối cùng để PCA)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— Sextus Empiricus

Nó sẽ thêm vào trực quan. Tôi tưởng tượng ba điểm đường dẫn RR hiện tại (nơi chạm vòng tròn và ellipsoid) tiếp tục đi xuống bên phải và cuối cùng, ở vô cực, vòng tròn và ellipsoid nên 'chạm' theo hướng của vị trí nơi vòng tròn chạm vào ellipsoid

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— Sextus Empiricus

Giới hạn của công cụ ước tính hồi quy sườn núi đơn vị-độ sai lệch khi

Một giải thích hình học

So sánh với chế độ hồi quy sườn núi tiêu chuẩn

Về giới hạnλ→∞λ→∞\lambda \to \infty

Ghi chú thêm về giới hạnλ→∞λ→∞\lambda \to \infty

Về giới hạn $\lambda \to \infty$

Ghi chú thêm về giới hạn $\lambda \to \infty$