Đảo ngược hồi quy sườn núi: ma trận phản hồi và hệ số hồi quy đã cho, tìm các yếu tố dự đoán phù hợp

Hãy xem xét một vấn đề tiêu chuẩn OLS hồi quy $\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$ : Tôi có ma trận $\Y$ và $\X$ và tôi muốn tìm $\B$ để thu nhỏ

L = ‖ Y - X β ‖^{2} .

$L=\|\Y-\X\B\|^2.$ Giải pháp được đưa ra bởi

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X)^{+} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$

Tôi cũng có thể đặt ra vấn đề "đảo ngược": đã cho $\Y$ và $\B^*$ , tìm $\hat\X$ sẽ mang lại $\hat\B\approx \B^*$ , tức là sẽ giảm thiểu $\|\argmin_\B\{L\}-\B^*\|^2$ . Nói cách khác, tôi có ma trận phản hồi $\Y$ và vectơ hệ số $\B^*$ và tôi muốn tìm ma trận dự đoán sẽ mang lại hệ số gần với $\B^*$ . Tất nhiên, đây cũng là một vấn đề hồi quy OLS với giải pháp

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = Y β^{⊤} (β β^{⊤})^{+} .

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$

Cập nhật làm rõ: Như @ GeoMatt22 đã giải thích trong câu trả lời của anh ấy, nếu $\Y$ là một vectơ (nghĩa là nếu chỉ có một biến trả lời), thì $\hat \X$ này sẽ được xếp hạng một và vấn đề ngược lại được xác định một cách ồ ạt. Trong trường hợp của tôi, $\Y$ thực sự là một ma trận (nghĩa là có nhiều biến trả lời, nó là một hồi quy đa biến ). Vậy $\X$ là $n\times p$ , $\Y$ là $n\times q$ và $\B$ là $p\times q$ .

Tôi quan tâm đến việc giải quyết vấn đề "đảo ngược" cho hồi quy sườn núi. Cụ thể, chức năng mất của tôi bây giờ là

L = ‖ Y - X β ‖^{2} + μ ‖ β ‖^{2}

$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$ và giải pháp là

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X + μ I)^{- 1} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$

Vấn đề "đảo ngược" là tìm

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = ?

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$

Một lần nữa, tôi có ma trận phản hồi $\Y$ và vectơ hệ số $\B^*$ và tôi muốn tìm ma trận dự đoán sẽ mang lại hệ số gần với $\B^*$ .

Trên thực tế có hai công thức liên quan:

Tìm $\hat\X$ cho $\Y$ và $\B^*$ và $\mu$ .
Tìm $\hat\X$ và $\hat \mu$ cho $\Y$ và $\B^*$ .

Có ai trong số họ có một giải pháp trực tiếp?

Dưới đây là đoạn trích Matlab ngắn gọn để minh họa vấn đề:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

Mã này xuất ra 0 nếu mu=0nhưng không phải là khác.

regression least-squares ridge-regression

— amip nói phục hồi Monica
nguồn

Vì và được đưa ra, chúng không ảnh hưởng đến các biến thể của tổn thất. Do đó, trong (1) bạn vẫn đang thực hiện OLS. (2) cũng đơn giản không kém, vì tổn thất có thể được tạo ra nhỏ tùy ý bằng cách lấy tùy ý phủ định, trong giới hạn của bất kỳ ràng buộc nào bạn so sánh để áp đặt lên nó. Điều đó làm giảm bạn đến trường hợp (1).

B

$B$

μ

$\mu$

\hat{μ}

$\hat\mu$

— whuber

@whuber Cảm ơn. Tôi nghĩ rằng tôi đã không giải thích nó đủ rõ ràng. Hãy xem xét (1). và được đưa ra (hãy gọi nó là ), nhưng tôi cần tìm sẽ mang lại hệ số hồi quy sườn gần với , nói cách khác tôi muốn tìm giảm thiểuTôi không thấy lý do tại sao điều này nên là OLS.

B

$B$

μ

$\mu$

B^{*}

$B^*$

X

$X$

B^{*}

$B^*$

X

$X$

‖ \underset{B}{argmin} {L_{r i d g e} (X, B)} - B^{*} ‖^{2} .

$\Big\|\operatorname*{argmin}_B\big\{ L_\mathrm{ridge}(X,B)\big\} - B^*\Big\|^2.$

— amip nói phục hồi Monica

Giống như tôi có và tôi muốn tìm sao cho gần với một . Nó không giống như tìm .

f (v, w)

$f(v,w)$

v

$v$

{argmin}_{w} f (v, w)

$\operatorname{argmin}_w f(v,w)$

w^{*}

$w^*$

{argmin}_{v} f (v, w^{*})

$\operatorname{argmin}_v f(v,w^*)$

— amip nói phục hồi Monica

Giải thích trong bài viết của bạn là khó hiểu về vấn đề đó, vì rõ ràng bạn không thực sự sử dụng như một chức năng mất. Có lẽ bạn có thể giải thích chi tiết cụ thể về các vấn đề (1) và (2) trong bài viết?

L

$L$

— whuber

@ hxd1011 Nhiều cột trong X thường được gọi là "hồi quy bội", nhiều cột trong Y thường được gọi là "hồi quy đa biến".

— amip nói phục hồi Monica

Bây giờ câu hỏi đã hội tụ về một công thức chính xác hơn về vấn đề quan tâm, tôi đã tìm ra giải pháp cho trường hợp 1 (tham số sườn núi đã biết). Điều này cũng sẽ giúp cho trường hợp 2 (không phải là một giải pháp phân tích chính xác, mà là một công thức đơn giản và một số ràng buộc).

Tóm tắt: Cả hai công thức bài toán ngược có một câu trả lời duy nhất. Trong trường hợp 2 , không xác định được tham số sườn núi , có vô số giải pháp , cho . Trong trường hợp 1, trong đó được đưa ra, có một số lượng hữu hạn các giải pháp cho , do sự mơ hồ trong phổ giá trị số ít. $\mu\equiv\omega^2$ $X_\omega$ $\omega\in[0,\omega_\max]$ $\omega$ $X_\omega$

(Đạo hàm hơi dài, do đó, TL, DR: có mã Matlab hoạt động ở cuối.)

Trường hợp chưa được xác định ("OLS")

Vấn đề chuyển tiếp là trong đó , và .

min_{B} ‖ X B - Y ‖^{2}

$\min_B\|XB-Y\|^2$

X \in R^{n \times p}

$X\in\mathbb{R}^{n\times p}$

B \in R^{p \times q}

$B\in\mathbb{R}^{p\times q}$

Y \in R^{n \times q}

$Y\in\mathbb{R}^{n\times q}$

Dựa trên câu hỏi được cập nhật, chúng tôi sẽ đảm nhận , vì vậy đang được xác định cho và . Như trong câu hỏi, chúng tôi sẽ đảm nhận "mặc định" (tối thiểu -norm) giải pháp nơi là pseudoinverse của . $n<p<q$ $B$ $X$ $Y$ $L_2$

B = X^{+} Y

$B=X^+Y$

X^{+}

$X^+$

X

$X$

Từ phân tách giá trị số ít ( SVD ) của , được đưa ra bởi * có thể được tính là ** (* Các biểu thức đầu tiên sử dụng SVD đầy đủ, trong khi các biểu thức thứ hai sử dụng SVD giảm. ** Để đơn giản, tôi giả sử có thứ hạng đầy đủ, tức là tồn tại.) $X$

X = U S V^{T} = U S_{0} V_{0}^{T}

$X=USV^T=US_0V_0^T$

X^{+} = V S^{+} U^{T} = V_{0} S_{0}^{- 1} U^{T}

$X^+=VS^+U^T=V_0S_0^{-1}U^T$

X

$X$

S_{0}^{- 1}

$S_0^{-1}$

Vì vậy, bài toán chuyển tiếp có giải pháp Để tham khảo trong tương lai, tôi lưu ý rằng , trong đó là vectơ của các giá trị số ít.

B \equiv X^{+} Y = (V_{0} S_{0}^{- 1} U^{T}) Y

$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$

S_{0} = d i a g (σ_{0})

$S_0=\mathrm{diag}(\sigma_0)$

σ_{0} > 0

$\sigma_0>0$

Trong vấn đề nghịch đảo, chúng tôi được cho và . Chúng ta biết rằng xuất phát từ quá trình trên, nhưng chúng ta không biết . Nhiệm vụ sau đó là xác định thích hợp . $Y$ $B$ $B$ $X$ $X$

Như đã đề cập trong câu hỏi được cập nhật, trong trường hợp này chúng ta có thể khôi phục lại sử dụng chủ yếu là phương pháp tương tự, tức là tại bằng cách sử dụng pseudoinverse của . $X$

X_{0} = Y B^{+}

$X_0=YB^+$

B

$B$

Trường hợp quá xác định (Công cụ ước tính)

Trong trường hợp "OLS", vấn đề chưa được xác định đã được giải quyết bằng cách chọn giải pháp định mức tối thiểu , tức là giải pháp "duy nhất" của chúng tôi được ngầm định hóa .

Thay vì chọn giải pháp định mức tối thiểu , ở đây chúng tôi giới thiệu một tham số để kiểm soát định mức "nhỏ" như thế nào, tức là chúng tôi sử dụng hồi quy sườn . $\omega$

Trong trường hợp này, chúng tôi có một loạt các sự cố chuyển tiếp cho , , được đưa ra bởi Thu thập các vectơ bên trái và bên phải khác nhau vào bộ sưu tập này của các vấn đề có thể được giảm xuống thành vấn đề "OLS" sau đây trong đó chúng tôi đã giới thiệu các ma trận tăng cường $\beta_k$ $k=1,\ldots,q$

min_{β} ‖ X β - y_{k} ‖^{2} + ω^{2} ‖ β ‖^{2}

$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$

B_{ω} = [β_{1}, \dots, β_{k}], Y = [y_{1}, \dots, y_{k}]

$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$

min_{B} ‖ X_{ω} B - Y ‖^{2}

$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$

X_{ω} = [\begin{matrix} X \\ ω I \end{matrix}], Y = [\begin{matrix} Y \\ 0 \end{matrix}]

$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$

Trong trường hợp được xác định quá mức này, giải pháp vẫn được đưa ra bởi giả nghịch đảo nhưng nghịch đảo giả giờ đã thay đổi, dẫn đến * trong đó ma trận "phổ số ít" mới có đường chéo ** (* Tính toán có liên quan cần thiết để rút ra điều này đã bị bỏ qua vì lý do ngắn gọn. Nó tương tự như giải trình ở đây cho trường hợp . ** Ở đây các mục của vectơ được biểu thị dưới dạng vectơ , trong đó tất cả các thao tác là nhập cảnh.)

B_{ω} = X^{+} Y

$B_\omega = \mathsf{X}^+\mathsf{Y}$

B_{ω} = (V_{0} S_{ω}^{- 2} U^{T}) Y

$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$

σ_{ω}^{2} = \frac{σ_{0}^{2} + ω^{2}}{σ_{0}}

$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$

p \leq n

$p\leq n$

σ_{ω}

$\sigma_\omega$

σ_{0}

$\sigma_0$

Bây giờ trong vấn đề này, chúng tôi vẫn có thể chính thức khôi phục một "giải pháp cơ bản" là nhưng đây không còn là một giải pháp thực sự nữa.

X_{ω} = Y B_{ω}^{+}

$X_\omega=YB_\omega^+$

Tuy nhiên, sự tương tự vẫn cho rằng "giải pháp" này có SVD với các giá trị số ít được đưa ra ở trên.

X_{ω} = U S_{ω}^{2} V_{0}^{T}

$X_\omega=US_\omega^2V_0^T$

σ_{ω}^{2}

$\sigma_\omega^2$

Vì vậy, chúng ta có thể rút ra một phương trình bậc hai liên quan đến các giá trị số ít mong muốn với các giá trị số ít có thể phục hồi và tham số chính quy . Giải pháp sau đó là $\sigma_0$ $\sigma_\omega^2$ $\omega$

σ_{0} = \bar{σ} \pm Δ σ, \bar{σ} = \frac{1}{2} σ_{ω}^{2}, Δ σ = \sqrt{(\bar{σ} + ω) (\bar{σ} - ω)}

$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$

Bản demo Matlab dưới đây (được thử nghiệm trực tuyến qua Octave ) cho thấy phương pháp giải pháp này dường như hoạt động trong thực tế cũng như lý thuyết. Dòng cuối cùng cho thấy rằng tất cả các giá trị số ít của nằm trong cấu trúc lại , nhưng tôi chưa hoàn toàn tìm ra gốc nào sẽ lấy ( = vs. ). Với nó sẽ luôn là gốc . Điều này thường dường như để giữ cho "nhỏ" , trong khi cho "lớn" sự gốc dường như để tiếp nhận. (Hiện tại bản demo được đặt thành trường hợp "lớn".) $X$ $\bar{\sigma}\pm\Delta\sigma$ sgn $+$ $-$ $\omega=0$ $+$ $\omega$ $\omega$ $-$

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

Tôi không thể nói giải pháp này mạnh đến mức nào , vì các vấn đề nghịch đảo thường không được đặt ra và các giải pháp phân tích có thể rất mong manh. Tuy nhiên, các thí nghiệm chữ thảo gây ô nhiễm với nhiễu Gaussian (nghĩa là nó có thứ hạng đầy đủ so với thứ hạng giảm ) dường như cho thấy phương pháp này được xử lý hợp lý. $B$ $p$ $n$

Đối với vấn đề 2 (tức là chưa biết), phần trên cung cấp ít nhất một giới hạn trên cho . Để phân biệt đối xử bậc hai không âm, chúng ta phải có $\omega$ $\omega$

ω \leq ω_{max} = {\bar{σ}}_{n} = min [\frac{1}{2} σ_{ω}^{2}]

$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$

Đối với sự không rõ ràng của dấu hiệu bậc hai, đoạn mã sau đây cho thấy rằng độc lập với dấu hiệu, mọi sẽ cung cấp cùng một giải pháp sườn núi , ngay cả khi khác với . $\hat{X}$ $B$ $\sigma_0$ $\mathrm{SVD}[X]$

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not

— GeoMatt22
nguồn

+11. Cảm ơn rất nhiều vì tất cả những nỗ lực mà bạn đã trả lời câu hỏi này và cho tất cả các cuộc thảo luận mà chúng tôi đã có. Điều này dường như để trả lời câu hỏi của tôi hoàn toàn. Tôi cảm thấy rằng chỉ cần chấp nhận câu trả lời của bạn là không đủ trong trường hợp này; điều này xứng đáng hơn nhiều so với hai câu trả lời mà câu trả lời này hiện có. Chúc mừng.

— amip nói phục hồi Monica

@amoeba cảm ơn! Tôi vui vì nó hữu ích. Tôi nghĩ rằng tôi sẽ đăng một bình luận về câu trả lời của người đăng ký mà bạn hỏi liệu anh ta có nghĩ nó phù hợp không và / hoặc nếu có câu trả lời tốt hơn để sử dụng. (Lưu ý ông kinh tiền tụng thảo luận SVD mình với điều kiện , tức là một quá quyết .)

p \leq n

$p\leq n$

X

$X$

— GeoMatt22

@ GeoMatt22 nhận xét của tôi về câu hỏi ban đầu nói rằng sử dụng pinvkhông phải là một điều tốt, bạn có đồng ý không?

— Haitao Du

@ hxd1011 Nói chung, bạn (hầu như) không bao giờ muốn đảo ngược một cách rõ ràng một ma trận bằng số và điều này cũng đúng với giả nghịch đảo. Hai lý do tôi sử dụng ở đây là 1) tính nhất quán với các phương trình toán học + mã trình diễn của amip và 2) cho trường hợp các hệ thống không xác định, các giải pháp "gạch chéo" mặc định có thể khác với các giải pháp pinv . Hầu như tất cả các trường hợp trong mã của tôi có thể được thay thế bằng các lệnh \ hoặc / thích hợp, thường được ưu tiên. (Điều này cho phép Matlab quyết định người giải trực tiếp hiệu quả nhất.)

— GeoMatt22

@ hxd1011 để làm rõ về điểm 2 của nhận xét trước đây của tôi, từ liên kết trong nhận xét của bạn về câu hỏi ban đầu: "Nếu thứ hạng của A nhỏ hơn số cột trong A, thì x = A \ B không nhất thiết là mức tối thiểu giải pháp định mức. X = pinv (A) * B tính toán đắt hơn tính toán giải pháp bình phương tối thiểu bình phương tối thiểu. ".

— GeoMatt22